このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20230203となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # コヒーレンスに基づくゲームと半デバイス非依存量子鍵分布への応用 A coherence-based game and applications to semi-device-independent quantum key distribution ( http://arxiv.org/abs/2103.06829v3 ) ライセンス: Link先を確認 | M\'ario Silva, Ricardo Faleiro, Paulo Mateus and Emmanuel Zambrini Cruzeiro | (参考訳) 半デバイス非依存の量子キー分布は、最高レベルのセキュリティ、デバイス独立性、実験的実現性の間の妥協に達することを目的としている。
半量子鍵分布は、単純でハードウェアのフォールトトレラントな量子鍵分布プロトコルを開発するために、セキュリティを保証しながら、ユーザの量子技術要件を小さくすることを目的としている興味深いアプローチである。
本稿では,コヒーレンスに基づく半量子化,半デバイスに依存しない量子鍵分散プロトコルを提案する。
このプロトコルは、異なる種類のコヒーレンスを目撃するコヒーレンス平等ゲームのノイズロバストバージョンに基づいている。 Semi-device-independent quantum key distribution aims at reaching a compromise between the highest level of security, device-independence, and experimental feasibility. Semi-quantum key distribution is an interesting approach whose purpose is to reduce the quantum technological requirements of users, whilst still guaranteeing security, in order to develop simple and hardware fault-tolerant quantum key distribution protocols. In this work, we introduce a coherence-based semi-quantum, semi-device-independent, quantum key distribution protocol where users only need to implement classical operations i.e. fixed basis detections, and prove its security in the bounded quantum storage model. The protocol is based on the noise-robust version of a coherence equality game that witnesses different types of coherence. | 翻訳日:2023-04-08 11:03:59 公開日:2023-02-03 |
| # アハラノフ-ボーム効果におけるベクトルポテンシャルのせん断 Shear of the vector potential in the Aharonov-Bohm effect ( http://arxiv.org/abs/2112.10611v2 ) ライセンス: Link先を確認 | Keith J. Kasunic | (参考訳) aharonov-bohm(ab)効果は、現在では幾何学的位相の顕現と見なされている。
しかし, ベクトル電位勾配テンソルを発散, カール, せん断成分に分解することにより, 局所電界および磁場に依存しない電界/荷電粒子相互作用を分離する。
局所せん断場はAB効果の速度依存性, 動的相の相互作用を提供し, 予測は干渉縞シフト, 伝搬方向に沿った時間遅延の欠如, 横力の可能性など, AB実験の既知クラスと一致していることを示す。 The Aharonov-Bohm (AB) effect is now largely considered to be a manifestation of geometric phase. However, by decomposing the vector-potential gradient tensor into divergence, curl, and shear components, we isolate a field/charged-particle interaction that is not dependent on local electric and magnetic fields. We show that a local shear field provides a velocity-dependent, dynamic-phase interaction in the AB effect whose predictions are consistent with all known classes of AB experiments, including interference fringe shifts, the absence of time delays along the direction of propagation, and the possibility of lateral forces. | 翻訳日:2023-03-04 09:12:22 公開日:2023-02-03 |
| # 量子近似最適化アルゴリズム擬似ボルツマン状態 Quantum Approximate Optimization Algorithm pseudo-Boltzmann states ( http://arxiv.org/abs/2201.03358v3 ) ライセンス: Link先を確認 | Pablo D\'iez-Valle, Diego Porras and Juan Jos\'e Garc\'ia-Ripoll | (参考訳) 本稿では,普遍イジングスピンモデルにおける単一層量子近似最適化アルゴリズム (qaoa) が熱的状態を生成することを解析的および数値的に証明する。
これらの擬似ボルツマン状態は、イジングモデルの迅速な混合を保証する一般的な状態に従って、古典的コンピュータでは効率的にシミュレーションできないことが判明した。
さらに、温度は、状態のエネルギーと他のエネルギー準位の共分散と、それらのエネルギーに対する状態のハミング距離との間の隠れた普遍的な相関に依存することを観測する。 In this letter, we provide analytical and numerical evidence that the single-layer Quantum Approximate Optimization Algorithm (QAOA) on universal Ising spin models produces thermal-like states. We find that these pseudo-Boltzmann states can not be efficiently simulated on classical computers according to the general state-of-the-art condition that ensures rapid mixing for Ising models. Moreover, we observe that the temperature depends on a hidden universal correlation between the energy of a state and the covariance of other energy levels and the Hamming distances of the state to those energies. | 翻訳日:2023-03-01 19:43:41 公開日:2023-02-03 |
| # 原因確認-シンプソンのパラドックスからCOVID-19まで Causal Confirmation Measures: From Simpson's Paradox to COVID-19 ( http://arxiv.org/abs/2302.09067v1 ) ライセンス: Link先を確認 | Chenguang Lu | (参考訳) 結果に対する2つの原因の影響を比較すると、すべてのグループからの結論が衝突の結論に反するならば、シンプソンのパラドックスが存在すると考える。
既存の因果推論理論(ecit)は、このパラドックスを取り除くために共同設立者の影響を取り除くことによって、全体の結論をグループ化結論と一致させることができる。
ecit は相対リスク差 pd = max(0, (r - 1)/r) (r はリスク比率を表す) を因果確率として用いる。
対照的に哲学者のフィテルソンは、因果関係の強さを測定するために、確度尺度d(事後確率マイナス前確率)を用いる。
ファイテルソンはベイズ的な確認の観点から、パラドックスを考慮せずに全体的な結論を直接受け入れるべきであると結論付けた。
著者は以前にPdに類似したベイズ確認測度 b* を提案した。
著者らはECITとベイズ確認の矛盾を克服するため、最小のクロスエントロピー基準を持つ意味情報法を用いて因果確認尺度Cc = (R -1)/max(R, 1)を導出する。
Cc は Pd に似ているが、(-1 と 1) の間の)正規化特性を持ち、対称性を引き起こす。
特に、新型コロナウイルス(COVID-19)ワクチンの感染抑制など、原因が結果を抑制する場合に当てはまる。
腎臓石治療やCOVID-19に関するいくつかの例では、PdとCcはDよりも合理的である。 When we compare the influences of two causes on an outcome, if the conclusion from every group is against that from the conflation, we think there is Simpson's Paradox. The Existing Causal Inference Theory (ECIT) can make the overall conclusion consistent with the grouping conclusion by removing the confounder's influence to eliminate the paradox. The ECIT uses relative risk difference Pd = max(0, (R - 1)/R) (R denotes the risk ratio) as the probability of causation. In contrast, Philosopher Fitelson uses confirmation measure D (posterior probability minus prior probability) to measure the strength of causation. Fitelson concludes that from the perspective of Bayesian confirmation, we should directly accept the overall conclusion without considering the paradox. The author proposed a Bayesian confirmation measure b* similar to Pd before. To overcome the contradiction between the ECIT and Bayesian confirmation, the author uses the semantic information method with the minimum cross-entropy criterion to deduce causal confirmation measure Cc = (R -1)/max(R, 1). Cc is like Pd but has normalizing property (between -1 and 1) and cause symmetry. It especially fits cases where a cause restrains an outcome, such as the COVID-19 vaccine controlling the infection. Some examples (about kidney stone treatments and COVID-19) reveal that Pd and Cc are more reasonable than D; Cc is more useful than Pd. | 翻訳日:2023-02-26 14:54:15 公開日:2023-02-03 |
| # 物理インフォームド長期記憶によるカオスの予測と再構成 Physics-Informed Long Short-Term Memory for Forecasting and Reconstruction of Chaos ( http://arxiv.org/abs/2302.10779v1 ) ライセンス: Link先を確認 | Elise \"Ozalp, Georgios Margazoglou, Luca Magri | (参考訳) カオスシステムにおける未測定変数の進化を再現し,予測するための物理インフォームドロング短期記憶(PI-LSTM)ネットワークを提案する。
トレーニングは、システムの制御方程式に違反する解をペナライズする正規化項によって制約される。
このネットワークは、様々な変数を再構成するために、原型的なカオス力学系であるlorenz-96モデルで展示されている。
まず、PI-LSTMアーキテクチャを示し、LSTMにおける非自明なタスクである微分方程式を制約する方法を説明する。
第二に、PI-LSTMは、そのエルゴード特性を研究するために、長期の自律進化において数値的に評価される。
物理制約なしでは達成できない未測定変数の統計を正確に予測できることを示す。
第3に,ネットワークのリアプノフ指数を計算し,カオスシステムの鍵となる安定性特性を推定する。
レコンストラクションのために、物理に変形した損失を定性的に加えれば、データ駆動のトレーニングよりもネットワークの動的挙動が向上する。
これはリャプノフ指数の合意によって定量化される。
この研究は、状態の再構築と非線形システムのダイナミクスの学習の新たな機会を開く。 We present the Physics-Informed Long Short-Term Memory (PI-LSTM) network to reconstruct and predict the evolution of unmeasured variables in a chaotic system. The training is constrained by a regularization term, which penalizes solutions that violate the system's governing equations. The network is showcased on the Lorenz-96 model, a prototypical chaotic dynamical system, for a varying number of variables to reconstruct. First, we show the PI-LSTM architecture and explain how to constrain the differential equations, which is a non-trivial task in LSTMs. Second, the PI-LSTM is numerically evaluated in the long-term autonomous evolution to study its ergodic properties. We show that it correctly predicts the statistics of the unmeasured variables, which cannot be achieved without the physical constraint. Third, we compute the Lyapunov exponents of the network to infer the key stability properties of the chaotic system. For reconstruction purposes, adding the physics-informed loss qualitatively enhances the dynamical behaviour of the network, compared to a data-driven only training. This is quantified by the agreement of the Lyapunov exponents. This work opens up new opportunities for state reconstruction and learning of the dynamics of nonlinear systems. | 翻訳日:2023-02-26 14:09:21 公開日:2023-02-03 |
| # 動的負荷下における燃料電池の時間周波数解析とシンボリックリカレントニューラルネットワークに基づくデータ駆動予測 Data-driven prognostics based on time-frequency analysis and symbolic recurrent neural network for fuel cells under dynamic load ( http://arxiv.org/abs/2302.10771v1 ) ライセンス: Link先を確認 | Chu Wang, Manfeng Dou, Zhongliang Li, Rachid Outbib, Dongdong Zhao, Jian Zuo, Yuanlin Wang, Bin Liang, Peng Wang | (参考訳) データ中心の予後は、プロトン交換膜燃料電池(PEMFC)の信頼性と安全性を向上させるために有用である。
動的負荷下でのpemfcの予後予測には,劣化特性の抽出,予測精度の向上,予測地平線の拡大,計算コストの低減などが課題である。
これらの問題に対処するため,Hilbert-Huang変換を用いて動的操作条件の健康指標を抽出し,生命予測の精度を高めるためにシンボリックベースゲートリカレント・ユニット・モデルを用いたデータ駆動型PEMFC予測手法を提案する。
他の最先端手法と比較すると、提案されたデータ駆動型予後予測アプローチは、計算コストが低い競争予測地平線を提供する。
予測性能は、異なる障害閾値設定下で一貫性と一般化性を示す。 Data-centric prognostics is beneficial to improve the reliability and safety of proton exchange membrane fuel cell (PEMFC). For the prognostics of PEMFC operating under dynamic load, the challenges come from extracting degradation features, improving prediction accuracy, expanding the prognostics horizon, and reducing computational cost. To address these issues, this work proposes a data-driven PEMFC prognostics approach, in which Hilbert-Huang transform is used to extract health indicator in dynamic operating conditions and symbolic-based gated recurrent unit model is used to enhance the accuracy of life prediction. Comparing with other state-of-the-art methods, the proposed data-driven prognostics approach provides a competitive prognostics horizon with lower computational cost. The prognostics performance shows consistency and generalizability under different failure threshold settings. | 翻訳日:2023-02-26 14:08:45 公開日:2023-02-03 |
| # 漁業における強制労働を特定するための責任ある機械学習アプローチ Towards a responsible machine learning approach to identify forced labor in fisheries ( http://arxiv.org/abs/2302.10987v1 ) ライセンス: Link先を確認 | Roc\'io Joo, Gavin McDonald, Nathan Miller, David Kroodsma, Courtney Farthing, Dyhia Belhabib, Timothy Hochberg | (参考訳) 多くの漁船は強制労働を行うが、定期的に検査されるものはほとんどないため、この慣行に携わる船を特定することは困難である。
本研究では,血管特性と移動パターンを用いて,強制労働の正の症例数の上限を推定し,正確で責任感のある公平な意思決定を支援する正のラベル付き学習アルゴリズムを開発した。
報告された強制労働の89%は正の順に分類され(リコール)、98%は適正な労働条件を有すると認定され、正の順に分類された。
このリコールはトラウラーを除いて異なるギアを使用する異なる地域からの船舶にとって高いものであった。
その結果,約28%の船舶が強制労働で作業でき,その割合はイカジガーやロングラインの方がはるかに高いことがわかった。
このモデルは、より広範な監視、制御、監視体制の一環としてリスクベースの港湾検査に通知し、強制労働を減らすことができる。
※英語のタイトルと要約の翻訳版は、スペイン語、フランス語、簡体字中国語、伝統中国語、インドネシア語の5つの言語で利用可能である。 Many fishing vessels use forced labor, but identifying vessels that engage in this practice is challenging because few are regularly inspected. We developed a positive-unlabeled learning algorithm using vessel characteristics and movement patterns to estimate an upper bound of the number of positive cases of forced labor, with the goal of helping make accurate, responsible, and fair decisions. 89% of the reported cases of forced labor were correctly classified as positive (recall) while 98% of the vessels certified as having decent working conditions were correctly classified as negative. The recall was high for vessels from different regions using different gears, except for trawlers. We found that as much as ~28% of vessels may operate using forced labor, with the fraction much higher in squid jiggers and longlines. This model could inform risk-based port inspections as part of a broader monitoring, control, and surveillance regime to reduce forced labor. * Translated versions of the English title and abstract are available in five languages in S1 Text: Spanish, French, Simplified Chinese, Traditional Chinese, and Indonesian. | 翻訳日:2023-02-26 13:21:38 公開日:2023-02-03 |
| # ジョン・ベルは今日何を選びますか。 Contextuality or nonlocality; what would John Bell choose today? ( http://arxiv.org/abs/2202.09639v4 ) ライセンス: Link先を確認 | Marian Kupczynski | (参考訳) ベル・チェシュの不等式違反は、量子非局所性、共謀、レトロ因果に関する憶測を正当化しない。
このような推測は、測定独立性の違反と呼ばれる確率モデルにおける隠れた変数の依存の設定は、実験者の選択の自由の侵害を意味するという信念に根ざしている。
この信念は、ベイズ定理の疑わしい使用と条件付き確率の誤った因果解釈に基づいているため、根拠がない。
ベル局所現実モデルでは、隠れ変数はソースによって生成されたフォトニックビームのみを記述するため、ランダムに選択された実験環境に依存しない。
しかし、測定器を記述する隠れ変数が文脈確率モデルに正しく組み込まれている場合、ベル試験で報告された不等式や明らかに無信号の違反は、量子的非局所性を引き起こすことなく説明できる。
したがって,ベル・chshの不等式に違反することは,隠れた変数が量子観測器の文脈特性と測定器が果たすアクティブな役割の確認条件に依存することのみを証明している。
ベルは、非地方性と実験者の選択の自由を侵害することを選ぶ必要があると考えた。
2つの悪い選択から、彼は非ローカルを選んだ。
今日、彼は文脈性として理解された統計的独立の違反を選ぶだろう。 A violation of Bell-CHSH inequalities does not justify speculations about quantum non-locality, conspiracy and retro-causation. Such speculations are rooted in a belief that setting dependence of hidden variables in a probabilistic model, called a violation of measurement independence, would mean a violation of experimenters freedom of choice. This belief is unfounded because it is based on a questionable use of Bayes Theorem and on incorrect causal interpretation of conditional probabilities. In Bell-local realistic model, hidden variables describe only photonic beams created by a source, thus they cannot depend on randomly chosen experimental settings. However, if hidden variables describing measuring instruments are correctly incorporated into a contextual probabilistic model a violation of inequalities and an apparent violation of no-signaling reported in Bell tests can be explained without evoking quantum nonlocality. Therefore, for us, a violation of Bell-CHSH inequalities proves only that hidden variables have to depend on settings confirming contextual character of quantum observables and an active role played by measuring instruments. Bell thought that he had to choose between nonlocality and the violation of experimenters freedom of choice. From two bad choices he chose nonlocality. Today he would probably choose the violation of statistical independence understood as contextuality. | 翻訳日:2023-02-24 12:08:31 公開日:2023-02-03 |
| # あるスパース行列のブロック符号化のための明示量子回路 Explicit Quantum Circuits for Block Encodings of Certain Sparse Matrices ( http://arxiv.org/abs/2203.10236v3 ) ライセンス: Link先を確認 | Daan Camps, Lin Lin, Roel Van Beeumen and Chao Yang | (参考訳) 近年開発されたブロックエンコーディングと量子固有値/特異値変換を利用する量子線形代数アルゴリズムを用いて、量子コンピュータ上で多くの標準的な線形代数問題を解くことができる。
ブロック符号化は、より単純なユニタリの積に分解でき、量子コンピュータに効率的に実装できるより大きなユニタリ変換Uに、適切にスケールされたAの行列を埋め込む。
量子アルゴリズムは、最良の古典的アルゴリズムと比較して線形代数問題を解くことで指数関数的な高速化を実現できるが、そのような効率性の向上は、最終的に、a のブロック符号化のための効率的な量子回路を構築する能力にかかっている。
本稿では,構造が整ったスパース行列に対して,量子回路がいかに効率的に構築できるかを示すいくつかの例を示し,これらの構成において用いられるいくつかの戦略について考察する。
また、MATLABにおけるこれらの量子回路の実装も提供する。 Many standard linear algebra problems can be solved on a quantum computer by using recently developed quantum linear algebra algorithms that make use of block encodings and quantum eigenvalue/singular value transformations. A block encoding embeds a properly scaled matrix of interest A in a larger unitary transformation U that can be decomposed into a product of simpler unitaries and implemented efficiently on a quantum computer. Although quantum algorithms can potentially achieve exponential speedup in solving linear algebra problems compared to the best classical algorithm, such gain in efficiency ultimately hinges on our ability to construct an efficient quantum circuit for the block encoding of A, which is difficult in general, and not trivial even for well-structured sparse matrices. In this paper, we give a few examples on how efficient quantum circuits can be explicitly constructed for some well-structured sparse matrices, and discuss a few strategies used in these constructions. We also provide implementations of these quantum circuits in MATLAB. | 翻訳日:2023-02-21 08:47:39 公開日:2023-02-03 |
| # 進化は自然の自己エンコーディングによって駆動される: 種、相互作用コード、協力、性生殖 Evolution is Driven by Natural Autoencoding: Reframing Species, Interaction Codes, Cooperation, and Sexual Reproduction ( http://arxiv.org/abs/2203.11891v7 ) ライセンス: Link先を確認 | Irun R. Cohen and Assaf Marron | (参考訳) 私たちが提案した生命の連続性と進化は、相互作用のネットワークに現れる対話型グループプロセスから生まれる。
このプロセスをtextit{survival-of-fitted} と呼ぶ。
ここでは、適合した結果が自然計算過程から生き残ることを「textit{natural autoencoding}」という。
自然の自己エンコーディングは、繰り返しの生物学的相互作用を維持することで機能する。
1) 種と外部および内部環境との反復的な相互作用をコンパクトに記述した, \textit{species interaction code} によって種を定義する。
種間相互作用コードは、反復的な相互作用を可能にする生物学的基盤に記録された記述である。
エンコーディングとデコーディングは相互に行われる。
2)種間相互作用符号の持続的変化の自然自動エンコーディングによって進化が進行する。
DNAは自然の自己コードにおける1つの要素である。
(3) 性生殖におけるゲノムランダム化のパラドックスに関する自然自己エンコーディングは、人工自己エンコーディングに必要な多様な入力と類似している。
ゲノムランダム化によって生じるエントロピーの増加は、組織生活によって生じるエントロピーの減少を補う。
(4) 自然自己エンコーディングと人工自己エンコーディングのアルゴリズムは類似性と相違点を定義した。
適合性の重要性の認識は、人間の生存可能な生物圏の未来に役立てることができる。 The continuity of life and its evolution, we proposed, emerge from an interactive group process manifested in networks of interaction. We term this process \textit{survival-of-the-fitted}. Here, we reason that survival of the fitted results from a natural computational process we term \textit{natural autoencoding}. Natural autoencoding works by retaining repeating biological interactions while non-repeatable interactions disappear. (1) We define a species by its \textit{species interaction code}, which consists of a compact description of the repeating interactions of species organisms with their external and internal environments. Species interaction codes are descriptions recorded in the biological infrastructure that enables repeating interactions. Encoding and decoding are interwoven. (2) Evolution proceeds by natural autoencoding of sustained changes in species interaction codes. DNA is only one element in natural autoencoding. (3) Natural autoencoding accounts for the paradox of genome randomization in sexual reproduction -- recombined genomes are analogous to the diversified inputs required for artificial autoencoding. The increase in entropy generated by genome randomization compensates for the decrease in entropy generated by organized life. (4) Natural autoencoding and artificial autoencoding algorithms manifest defined similarities and differences. Recognition of the importance of fittedness could well serve the future of a humanly livable biosphere. | 翻訳日:2023-02-21 02:49:27 公開日:2023-02-03 |
| # フェアネス制約付き高速特徴選択 Fast Feature Selection with Fairness Constraints ( http://arxiv.org/abs/2202.13718v2 ) ライセンス: Link先を確認 | Francesco Quinzan, Rajiv Khanna, Moshik Hershcovitch, Sarel Cohen, Daniel G. Waddington, Tobias Friedrich, Michael W. Mahoney | (参考訳) モデル構築における最適特徴の選択に関する基礎的問題について検討する。
この問題は、greedyアルゴリズムの変種を使用しても、大規模なデータセットで計算的に困難である。
この課題に対処するために,最近提案された部分モジュラ関数のグリーディフォワード選択のための適応クエリモデルを拡張し,非部分モジュラ関数の直交マッチング追跡のより高速なパラダイムに拡張する。
提案アルゴリズムは、適応型クエリモデルにおいて指数関数的に高速な並列実行を実現する。
さらに,本拡張では,特定のフェアネス基準を特徴選択プロセスにエンコードするために使用可能な,下向きの制約の利用が可能となった。
我々は,標準仮定に基づくアルゴリズムの強い近似保証を証明した。
これらの保証は一般化線型モデルを含む多くのパラメトリックモデルに適用できる。
最後に,提案アルゴリズムは実世界および合成データセット上で,特徴選択のための最先端技術と良好に競合することを示す。 We study the fundamental problem of selecting optimal features for model construction. This problem is computationally challenging on large datasets, even with the use of greedy algorithm variants. To address this challenge, we extend the adaptive query model, recently proposed for the greedy forward selection for submodular functions, to the faster paradigm of Orthogonal Matching Pursuit for non-submodular functions. The proposed algorithm achieves exponentially fast parallel run time in the adaptive query model, scaling much better than prior work. Furthermore, our extension allows the use of downward-closed constraints, which can be used to encode certain fairness criteria into the feature selection process. We prove strong approximation guarantees for the algorithm based on standard assumptions. These guarantees are applicable to many parametric models, including Generalized Linear Models. Finally, we demonstrate empirically that the proposed algorithm competes favorably with state-of-the-art techniques for feature selection, on real-world and synthetic datasets. | 翻訳日:2023-02-19 15:18:29 公開日:2023-02-03 |
| # バイナリニューラルネットワークの効率的な推論のための光xnor-bitcountベース加速器 An Optical XNOR-Bitcount Based Accelerator for Efficient Inference of Binary Neural Networks ( http://arxiv.org/abs/2302.06405v1 ) ライセンス: Link先を確認 | Sairam Sri Vatsavai, Venkata Sai Praneeth Karempudi, and Ishan Thakkar | (参考訳) バイナリニューラルネットワーク(BNN)は、最小の精度で推論処理のメモリと計算要求を減らすために、完全精度の畳み込みニューラルネットワーク(CNN)よりもますます好まれる。
BNNはCNNモデルのパラメータを1ビット精度に変換し、単純なXNORとビットカウント操作でBNNの推測を行う。
これにより、BNNはハードウェアアクセラレーションに対応できる。
いくつかのフォトニック集積回路(PIC)ベースのBNNアクセラレータが提案されている。
これらの加速器は、電子回路よりも驚くほど高いスループットとエネルギー効率を提供するが、利用したXNORとビットカウント回路は、その面積、エネルギー効率、スループットを改善するためにさらに強化する必要がある。
本論文は,このニーズを満たすことを目的とする。
そこで我々は,単一MRRを用いた光XNORゲート(OXG)を発明した。
さらに,光電荷蓄積器(PCA)と呼ばれるビット数回路の新規な設計を提案する。
我々は、高密度波長分割多重化(DWDM)を用いて複数のOXGを用いてPCAに接続し、新しい光XNOR-Bitcountベースのバイナリニューラルネットワーク加速器(OXBNN)を構築する。
最新の4つのBNNを推定した結果,OXBNNは1秒あたり62倍,7.6倍のFPS/W(エネルギー効率)を実現していることがわかった。
我々は,アクセル評価のためのトランザクションレベル・イベント駆動型ピソンシミュレータ(https://github.com/uky-UCAT/B_ONN_SIM)を開発した。 Binary Neural Networks (BNNs) are increasingly preferred over full-precision Convolutional Neural Networks(CNNs) to reduce the memory and computational requirements of inference processing with minimal accuracy drop. BNNs convert CNN model parameters to 1-bit precision, allowing inference of BNNs to be processed with simple XNOR and bitcount operations. This makes BNNs amenable to hardware acceleration. Several photonic integrated circuits (PICs) based BNN accelerators have been proposed. Although these accelerators provide remarkably higher throughput and energy efficiency than their electronic counterparts, the utilized XNOR and bitcount circuits in these accelerators need to be further enhanced to improve their area, energy efficiency, and throughput. This paper aims to fulfill this need. For that, we invent a single-MRR-based optical XNOR gate (OXG). Moreover, we present a novel design of bitcount circuit which we refer to as Photo-Charge Accumulator (PCA). We employ multiple OXGs in a cascaded manner using dense wavelength division multiplexing (DWDM) and connect them to the PCA, to forge a novel Optical XNOR-Bitcount based Binary Neural Network Accelerator (OXBNN). Our evaluation for the inference of four modern BNNs indicates that OXBNN provides improvements of up to 62x and 7.6x in frames-per-second (FPS) and FPS/W (energy efficiency), respectively, on geometric mean over two PIC-based BNN accelerators from prior work. We developed a transaction-level, event-driven python-based simulator for evaluation of accelerators (https://github.com/uky-UCAT/B_ONN_SIM). | 翻訳日:2023-02-19 14:20:03 公開日:2023-02-03 |
| # AIにおける現実の構築 : レビュー The Construction of Reality in an AI: A Review ( http://arxiv.org/abs/2302.05448v1 ) ライセンス: Link先を確認 | Jeffrey W. Johnston | (参考訳) フランク・ゲリンによって説明され、調査されたjean piagetに触発されたai構成主義は、gary drescher氏によって一般的に実装され、エージェントがセンサーと相互作用を通じて環境を深く理解し、維持し、適用できるアルゴリズムと知識構造を作ろうとしている。
本稿では,機械による生涯学習の実現に向けて,建設的AI実装に対する意識を高めることを目的とする。
2008年の"Learning Like a Baby: A Survey of AI approach"をベースとしている。
この調査を短期間再確認した後、ゲリンの参考人によるその後の進展、ゲリンがカバーしていない多数の作品(あるいは他の調査で見つかったもの)、関連分野における関連する取り組みをまとめている。
その焦点は知識表現と学習アルゴリズムであり、ピアジェの図式、適応過程、段階的開発といったレンズを通して実際に使われてきた。
論文は、感覚入力から概念を解析し、エピソディックデータに関連付けられたセマンティックメモリネットワークに格納する、著者が開発する建設的aiのためのシンプルなフレームワークのプレビューで締めくくっている。
広範囲の参照が提供されている。 AI constructivism as inspired by Jean Piaget, described and surveyed by Frank Guerin, and representatively implemented by Gary Drescher seeks to create algorithms and knowledge structures that enable agents to acquire, maintain, and apply a deep understanding of the environment through sensorimotor interactions. This paper aims to increase awareness of constructivist AI implementations to encourage greater progress toward enabling lifelong learning by machines. It builds on Guerin's 2008 "Learning Like a Baby: A Survey of AI approaches." After briefly recapitulating that survey, it summarizes subsequent progress by the Guerin referents, numerous works not covered by Guerin (or found in other surveys), and relevant efforts in related areas. The focus is on knowledge representations and learning algorithms that have been used in practice viewed through lenses of Piaget's schemas, adaptation processes, and staged development. The paper concludes with a preview of a simple framework for constructive AI being developed by the author that parses concepts from sensory input and stores them in a semantic memory network linked to episodic data. Extensive references are provided. | 翻訳日:2023-02-19 14:18:39 公開日:2023-02-03 |
| # The Heritage Digital Twin: 2人用の自転車。
デジタル方法論の文化遺産研究への統合 The Heritage Digital Twin: a bicycle made for two. The integration of digital methodologies into cultural heritage research ( http://arxiv.org/abs/2302.07138v1 ) ライセンス: Link先を確認 | Franco Niccolucci, B\'eatrice Markhoff, Maria Theodoridou, Achille Felicetti, Sorin Hermon | (参考訳) 本論文は,デジタルツインの概念に基づく文化遺産の新たなオントロジーの定義に関するものである。
デジタルツインオントロジー(英語: heritage digital twin ontology)と呼ばれるオントロジーは、文化遺産文書のための有名なcidoc crm iso標準の拡張であり、現在文化遺産文書に使われている全ての異なる文書システムを含んでいる。
著者の見解では、現在使用されているものよりも高いレベルでドキュメントの相互運用性をサポートし、異なるユーザ間の効果的な連携を可能にする。 The paper concerns the definition of a novel ontology for cultural heritage based on the concept of digital twin. The ontology, called Heritage Digital Twin ontology, is a compatible extension of the well-known CIDOC CRM ISO standard for cultural heritage documentation and incorporates all the different documentation systems presently in use for cultural heritage documentation. In the authors' view, it supports documentation interoperability at a higher level than the ones currently in use and enables effective cooperation among different users. | 翻訳日:2023-02-19 14:11:30 公開日:2023-02-03 |
| # MetaOpera: クロスプラットフォームの相互運用プロトコル MetaOpera: A Cross-Metaverse Interoperability Protocol ( http://arxiv.org/abs/2302.01600v1 ) ライセンス: Link先を確認 | Taotao Li, Changlin Yang, Qinglin Yang, Siqi Zhou, Huawei Huang, Zibin Zheng | (参考訳) メタバース技術の急速な進化により、様々な目的やシナリオに多くのメタバースアプリケーションが登場した。
これにより、メタバース間の相互運用性は、メタバース空間における基本的な技術実現の1つとなる。
相互運用性の目的は、ユーザがメタバースと対話するためのシームレスなエクスペリエンスを提供することです。
しかしながら、異種間相互運用の開発は、産業とアカデミックの両方において、まだ初期段階にある。
本稿では,最先端の相互運用方式を概観する。
これらのスキームは特定の相互運用シナリオ向けに設計されており、すべてのタイプのメタバースに対して一般化するものではない。
この目的のために,汎用的な相互運用プロトコルであるMetaOperaを提案する。
MetaOperaに接続することで、集中型サーバや分散化されたブロックチェーンに依存するメタバースのユーザとオブジェクトが相互運用できるようになる。
また、MetaOperaの概念実証実装を開発し、その性能を評価し、Sidechainsに基づく最先端のクロスメタバーススキームと比較する。
シミュレーションの結果,提案手法を用いたクロス・メタバース・プルーフのサイズと平均クロス・メタバース・トランザクション時間は,サイドチェーン・スキームの約8倍,3倍小さいことがわかった。
本稿は,今後の研究に刺激を与える可能性のある,異種間相互運用による多くのオープンな課題と課題を提起する。 With the rapid evolution of metaverse technologies, numerous metaverse applications have arisen for various purposes and scenarios. This makes interoperability across metaverses becomes one of the fundamental technology enablers in the metaverse space. The aim of interoperability is to provide a seamless experience for users to interact with metaverses. However, the development of cross-metaverse interoperability is still in its initial stage in both industry and academia. In this paper, we review the state-of-the-art cross-metaverse interoperability schemes. These schemes are designed for specific interoperating scenarios and do not generalize for all types of metaverses. To this end, we propose MetaOpera, a generalized cross-metaverse interoperability protocol. By connecting to the MetaOpera, users, and objects in metaverses that rely on centralized servers or decentralized blockchains are able to interoperate with each other. We also develop a proof-of-concept implementation for MetaOpera, evaluate its performance, and compare it with a state-of-the-art cross-metaverse scheme based on Sidechains. Simulation results demonstrate that the size of cross-metaverse proof and the average time of cross-metaverse transactions using the proposed solution are respectively about eight times and three times smaller than the Sidechains scheme. This paper also suggests a number of open issues and challenges faced by cross-metaverse interoperability that may inspire future research. | 翻訳日:2023-02-19 14:01:47 公開日:2023-02-03 |
| # 攻撃的音声分類器の悪意ある犯罪と騒音監査 Vicarious Offense and Noise Audit of Offensive Speech Classifiers ( http://arxiv.org/abs/2301.12534v2 ) ライセンス: Link先を確認 | Tharindu Cyril Weerasooriya and Sujan Dutta and Tharindu Ranasinghe and Marcos Zampieri and Christopher M. Homan and Ashiqur R. KhudaBukhsh | (参考訳) 本稿では,自動手法(機械モデレーター)と人間評価器(人モデレーター)の2つの重要な視点から,ソーシャルWebコンテンツのモデレーションを検討する。
我々は、9億9200万のyoutubeコメントから収集したコーパスで評価された悪質な音声データセットを訓練した9人のマシンモデレーターを用いて、前例のない規模のノイズ監査を行う。
我々は、悪質な犯罪の第一種データセットを紹介する。
我々は,(1)特定のソーシャルメディアポスト攻撃を見つけた場合,(2)異なる政治的信念を共有する攻撃的アノテータが,どのように同じ内容を見出すのかを尋ねる。
機械モデレーターを用いた実験により, 機械モデレーター毎にモデレーション結果が大きく異なることがわかった。
Our experiments with human moderators suggest that (1) political leanings considerably affect first-person offense perspective; (2) Republicans are the worst predictors of vicarious offense; (3) predicting vicarious offense for the Republicans is most challenging than predicting vicarious offense for the Independents and the Democrats; and (4) disagreement across political identity groups considerably increases when sensitive issues such as reproductive rights or gun control/rights are discussed.
どちらの実験も、悪行は確かに非常に主観的であり、コンテンツモデレーションの実践に関する重要な疑問を提起している。 This paper examines social web content moderation from two key perspectives: automated methods (machine moderators) and human evaluators (human moderators). We conduct a noise audit at an unprecedented scale using nine machine moderators trained on well-known offensive speech data sets evaluated on a corpus sampled from 92 million YouTube comments discussing a multitude of issues relevant to US politics. We introduce a first-of-its-kind data set of vicarious offense. We ask annotators: (1) if they find a given social media post offensive; and (2) how offensive annotators sharing different political beliefs would find the same content. Our experiments with machine moderators reveal that moderation outcomes wildly vary across different machine moderators. Our experiments with human moderators suggest that (1) political leanings considerably affect first-person offense perspective; (2) Republicans are the worst predictors of vicarious offense; (3) predicting vicarious offense for the Republicans is most challenging than predicting vicarious offense for the Independents and the Democrats; and (4) disagreement across political identity groups considerably increases when sensitive issues such as reproductive rights or gun control/rights are discussed. Both experiments suggest that offense, is indeed, highly subjective and raise important questions concerning content moderation practices. | 翻訳日:2023-02-19 13:56:01 公開日:2023-02-03 |
| # 表面マイニングにおける自動化とAI技術 -Pilbaraにおけるオープンピット操作の簡単な紹介- Automation and AI Technology in Surface Mining With a Brief Introduction to Open-Pit Operations in the Pilbara ( http://arxiv.org/abs/2301.09771v2 ) ライセンス: Link先を確認 | Raymond Leung, Andrew J Hill, Arman Melkumyan | (参考訳) 本稿では,鉱業,特に西オーストラリアのピルバラ鉄鉱地帯で発生した工学的問題,技術革新,ロボット開発,自動化の取り組みについて概説する。
目標は、テクノロジの展望を描き、エンジニアリングのオーディエンスに関連する問題を強調して、aiとマイニングの自動化トレンドに対する意識を高めることだ。
読者はマイニングに関する事前知識がなく、集中した議論と一般的なオープンピットマイニング操作の短い要約を通じて徐々にコンテキストを構築していると仮定している。
主要な活動は、資源開発、鉱業、鉄道、港湾事業の観点で分類することができる。
鉱物探査から鉱石の出荷まで、その中間にはおよそ9つの段階がある。
地質学的アセスメント、鉱山計画と開発、生産の掘削と調査、爆破と掘削、鉱石と廃棄物の輸送、解体とスクリーン、ストックパイルとロードアウト、鉄道網の流通、および鉱石車ダンピングなどである。
目的は、これらのプロセスに何が含まれるかを簡単に説明し、10年に及ぶ産業大学と研究開発のコラボレーションの観点から、課題/機会を識別することである。 This survey article provides a synopsis on some of the engineering problems, technological innovations, robotic development and automation efforts encountered in the mining industry -- particularly in the Pilbara iron-ore region of Western Australia. The goal is to paint the technology landscape and highlight issues relevant to an engineering audience to raise awareness of AI and automation trends in mining. It assumes the reader has no prior knowledge of mining and builds context gradually through focused discussion and short summaries of common open-pit mining operations. The principal activities that take place may be categorized in terms of resource development, mine-, rail- and port operations. From mineral exploration to ore shipment, there are roughly nine steps in between. These include: geological assessment, mine planning and development, production drilling and assaying, blasting and excavation, transportation of ore and waste, crush and screen, stockpile and load-out, rail network distribution, and ore-car dumping. The objective is to briefly describe what each of these processes involves and identify some of the challenges/opportunities from the perspective of a decade-long industry-university R&D collaboration. | 翻訳日:2023-02-19 13:44:03 公開日:2023-02-03 |
| # SemEval 2023 Task 9: Multilingual Tweet Intimacy Analysis SemEval 2023 Task 9: Multilingual Tweet Intimacy Analysis ( http://arxiv.org/abs/2210.01108v2 ) ライセンス: Link先を確認 | Jiaxin Pei, V\'itor Silva, Maarten Bos, Yozon Liu, Leonardo Neves, David Jurgens and Francesco Barbieri | (参考訳) MINTは、英語、フランス語、スペイン語、イタリア語、ポルトガル語、韓国語、オランダ語、中国語、ヒンディー語、アラビア語を含む10の言語で13,372のツイートをカバーする新しい多言語インテミシー分析データセットである。
人気のある多言語事前学習言語モデルのリストをベンチマークした。
データセットはSemEval 2023 Task 9: Multilingual Tweet Intimacy Analysis (https://sites.google.com/umich.edu/semeval-2023-tweet-intimacy)と共にリリースされた。 We propose MINT, a new Multilingual INTimacy analysis dataset covering 13,372 tweets in 10 languages including English, French, Spanish, Italian, Portuguese, Korean, Dutch, Chinese, Hindi, and Arabic. We benchmarked a list of popular multilingual pre-trained language models. The dataset is released along with the SemEval 2023 Task 9: Multilingual Tweet Intimacy Analysis (https://sites.google.com/umich.edu/semeval-2023-tweet-intimacy). | 翻訳日:2023-02-19 11:27:29 公開日:2023-02-03 |
| # 社会的に公正な強化学習 Socially Fair Reinforcement Learning ( http://arxiv.org/abs/2208.12584v2 ) ライセンス: Link先を確認 | Debmalya Mandal, and Jiarui Gan | (参考訳) 我々は,報奨機能が異なる複数の利害関係者が存在するエピソディクス強化学習の問題を考える。
私たちのゴールは、異なる報酬関数に関して社会的に公平なポリシーを出力することです。
先行研究は、公平な政策は最小の福祉、一般化されたジニ福祉を含め、最適化しなければならないという異なる目的を提案してきた。
まず、この問題の公理的見解を取り、そのような公正な目的が満たさなければならない4つの公理を提案する。
ナッシュ社会福祉は4つの目的すべてに一意に満足するユニークな目的であるが、先行する目的は4つの公理をすべて満たさない。
次に、基礎となるモデル、すなわちマルコフ決定プロセスが不明な問題の学習バージョンを検討する。
最低限の福祉、一般的なジニ福祉、ナッシュ社会福祉という3つの公平な目的を最大化する公正な政策に関して、後悔を最小化する問題を考える。
楽観的計画に基づいて, 汎用学習アルゴリズムを提案し, その後悔を3つの異なる方針に限定して導出する。
ナッシュ社会福祉の目的のために、我々はまた、エージェント数である$n$で指数関数的に増加する後悔の少ない限界を導き出す。
最後に、最小限の福祉の目的のために、後悔の弱い概念のために、$O(H)$で後悔を改善することができることを示す。 We consider the problem of episodic reinforcement learning where there are multiple stakeholders with different reward functions. Our goal is to output a policy that is socially fair with respect to different reward functions. Prior works have proposed different objectives that a fair policy must optimize including minimum welfare, and generalized Gini welfare. We first take an axiomatic view of the problem, and propose four axioms that any such fair objective must satisfy. We show that the Nash social welfare is the unique objective that uniquely satisfies all four objectives, whereas prior objectives fail to satisfy all four axioms. We then consider the learning version of the problem where the underlying model i.e. Markov decision process is unknown. We consider the problem of minimizing regret with respect to the fair policies maximizing three different fair objectives -- minimum welfare, generalized Gini welfare, and Nash social welfare. Based on optimistic planning, we propose a generic learning algorithm and derive its regret bound with respect to the three different policies. For the objective of Nash social welfare, we also derive a lower bound in regret that grows exponentially with $n$, the number of agents. Finally, we show that for the objective of minimum welfare, one can improve regret by a factor of $O(H)$ for a weaker notion of regret. | 翻訳日:2023-02-19 10:44:06 公開日:2023-02-03 |
| # 翻訳不変量子系における断熱時間進化と準静的過程について A note on adiabatic time evolution and quasi-static processes in translation-invariant quantum systems ( http://arxiv.org/abs/2204.02177v2 ) ライセンス: Link先を確認 | Vojkan Jak\v{s}i\'c, Claude-Alain Pillet, Cl\'ement Tauber | (参考訳) 格子 $\mathbb z^d$ 上の変換不変スピンあるいはフェルミオン系のゆっくりと変化する非自発的量子力学について研究する。
この系は当初熱平衡状態にあると考えられており、断熱限界における準静電過程の実現を検討する。
ギブス変分原理と[Jak\v{s}i\'c, Pillet, Tauber, arXiv:2204.00440] で導入された量子弱ギブス状態の概念を組み合わせることで、そのような実現に関する多くの一般的な構造的結果を確立する。
特に、このような準静的過程は、この前の研究で研究された平衡へのアプローチの性質とは相容れない。 We study the slowly varying, non-autonomous quantum dynamics of a translation invariant spin or fermion system on the lattice $\mathbb Z^d$. This system is assumed to be initially in thermal equilibrium, and we consider realizations of quasi-static processes in the adiabatic limit. By combining the Gibbs variational principle with the notion of quantum weak Gibbs states introduced in [Jak\v{s}i\'c, Pillet, Tauber, arXiv:2204.00440], we establish a number of general structural results regarding such realizations. In particular, we show that such a quasi-static process is incompatible with the property of approach to equilibrium studied in this previous work. | 翻訳日:2023-02-18 05:26:41 公開日:2023-02-03 |
| # 量子臨界点へのユニバーサル冷却ダイナミクス Universal cooling dynamics toward a quantum critical point ( http://arxiv.org/abs/2204.07594v2 ) ライセンス: Link先を確認 | Emma C. King, Johannes N. Kriel, and Michael Kastner | (参考訳) 本研究では,多体量子システムを初期熱状態から量子臨界点へ冷却する際の断熱損失について検討する。
動力学の断熱性の度合いを定量化する励起密度は、冷却プロトコルの初期および最終温度だけでなく、冷却速度におけるスケーリング則に従うことが判明した。
スケーリング法則は普遍的であり、量子相転移の臨界指数によって支配される。
これらのステートメントの妥当性は、マルコフ浴場と結合したキタエフ量子線に対して解析的に示され、かなり一般的な条件下で有効であると論じられた。
その結果, 量子相転移の制御パラメータを変化させることなく, 有限温度で量子臨界特性を動的に探究できることがわかった。 We investigate the loss of adiabaticity when cooling a many-body quantum system from an initial thermal state toward a quantum critical point. The excitation density, which quantifies the degree of adiabaticity of the dynamics, is found to obey scaling laws in the cooling velocity as well as in the initial and final temperatures of the cooling protocol. The scaling laws are universal, governed by the critical exponents of the quantum phase transition. The validity of these statements is shown analytically for a Kitaev quantum wire coupled to Markovian baths and argued to be valid under rather general conditions. Our results establish that quantum critical properties can be probed dynamically at finite temperature, without even varying the control parameter of the quantum phase transition. | 翻訳日:2023-02-16 21:31:22 公開日:2023-02-03 |
| # キャビティ・真空揺らぎを介する原子と機械振動子とのコヒーレント共振結合 Coherent Resonant Coupling between Atoms and a Mechanical Oscillator Mediated by Cavity-Vacuum Fluctuations ( http://arxiv.org/abs/2204.08238v2 ) ライセンス: Link先を確認 | Bo Wang, Jia-Ming Hu, Vincenzo Macr\`i, Ze-Liang Xiang, Franco Nori | (参考訳) 原子は空洞場の量子真空ゆらぎによって機械振動子に結合することができ、それらの間のエネルギー伝達プロセスを可能にする。
キャビティ共振器と可動ミラーと原子からなるハイブリッド量子システムでは、これらのプロセスは逆回転(原子キャビティシステム)と動的カシミール相互作用項(オプトメカニカルシステム)の2つの対生成機構によって支配される。
これらの2つのペア生成機構により、共鳴原子-ミラーカップリングは、理論の枠組みでよく説明されている異なる遷移経路を持つ高次仮想プロセスの結果である。
我々は、原子-ミラー系ハミルトニアンへのユニタリ変換を行い、ペア生成の2種類の多重次遷移を示す。
原子の周波数をチューニングすることにより、光子周波数変換を複数のモードのキャビティ内で実現できることを示す。
さらに、同じメカニカルモードに結合した2つの原子を含む場合、メカニカル発振器の1つの振動励起を同時に2つの原子に吸収することができる。
キャビティ光力学や他のシステムにおける強強結合の最近の進歩を考えると,提案手法は利用可能な技術を用いて実装できると考えている。 We show that an atom can be coupled to a mechanical oscillator via quantum vacuum fluctuations of a cavity field enabling energy transfer processes between them. In a hybrid quantum system consisting of a cavity resonator with a movable mirror and an atom, these processes are dominated by two pair-creation mechanisms: the counterrotating (atom-cavity system) and dynamical Casimir interaction terms (optomechanical system). Because of these two pair-creation mechanisms, the resonant atom-mirror coupling is the result of high-order virtual processes with different transition paths well described in our theoretical framework. We perform a unitary transformation to the atom-mirror system Hamiltonian, exhibiting two kinds of multiple-order transitions of the pair creation. By tuning the frequency of the atom, we show that photon frequency conversion can be realized within a cavity of multiple modes. Furthermore, when involving two atoms coupled to the same mechanical mode, a single vibrating excitation of the mechanical oscillator can be simultaneously absorbed by the two atoms. Considering recent advances in strong and ultrastrong coupling for cavity optomechanics and other systems, we believe our proposals can be implemented using available technology. | 翻訳日:2023-02-16 11:52:15 公開日:2023-02-03 |
| # 共生19年と学習3.0年における人工知能の認知的ダイナミクスの探求--chatgptを事例として Exploring the Cognitive Dynamics of Artificial Intelligence in the Post-COVID-19 and Learning 3.0 Era: A Case Study of ChatGPT ( http://arxiv.org/abs/2302.04818v1 ) ライセンス: Link先を確認 | Lingfei Luan, Xi Lin, Wenbiao Li | (参考訳) 人工知能の出現は、教育、ジャーナリズム、セキュリティ、倫理など、さまざまな確立されたドメインのトランスフォーメーションの触媒としてchatgptが機能する、人間の努力のスペクトルを越えたパラダイムシフトを引き起こした。
パンデミック以降、リモートワークの普及により、教育部門は従来の教育手法を再評価するに至った。
本稿では,ChatGPTの基礎となる心理的原理を精査し,ユーザの注意を惹きつける要因を掘り下げ,学習の未来にその影響を示唆する。
本研究の究極の目標は、教育における技術的進歩と人間の学習パターンの進化との相互作用に関する学術的な議論を断念することであり、テクノロジーが人間の進化を駆動しているかどうかという疑問を提起する。 The emergence of artificial intelligence has incited a paradigm shift across the spectrum of human endeavors, with ChatGPT serving as a catalyst for the transformation of various established domains, including but not limited to education, journalism, security, and ethics. In the post-pandemic era, the widespread adoption of remote work has prompted the educational sector to reassess conventional pedagogical methods. This paper is to scrutinize the underlying psychological principles of ChatGPT, delve into the factors that captivate user attention, and implicate its ramifications on the future of learning. The ultimate objective of this study is to instigate a scholarly discourse on the interplay between technological advancements in education and the evolution of human learning patterns, raising the question of whether technology is driving human evolution or vice versa. | 翻訳日:2023-02-12 13:06:38 公開日:2023-02-03 |
| # witscript 2:wordplayなしで即興ジョークを生成するシステム Witscript 2: A System for Generating Improvised Jokes Without Wordplay ( http://arxiv.org/abs/2302.03036v1 ) ライセンス: Link先を確認 | Joe Toplyn | (参考訳) 以前の論文では、ワードプレイに依存する会話型ジョークを生成するシステムであるwitscriptを発表した。
本稿では、大きな言語モデルを用いて、単語プレイの代わりに常識に依存する会話的ジョークを生成する Witscript 2 を提示することにより、その作業を拡張した。
Witscriptと同様に、Witscript 2はプロのコメディライターが作ったジョークを書くアルゴリズムに基づいている。
人間の評価者は、入力文に対するWitscript 2の反応を、人間の回答の70%に比べて46%の確率でジョークであると判断した。
これは、Witscript 2がチャットボットに人間のようなユーモアを与えるための別のステップであることを示す証拠である。 A previous paper presented Witscript, a system for generating conversational jokes that rely on wordplay. This paper extends that work by presenting Witscript 2, which uses a large language model to generate conversational jokes that rely on common sense instead of wordplay. Like Witscript, Witscript 2 is based on joke-writing algorithms created by an expert comedy writer. Human evaluators judged Witscript 2's responses to input sentences to be jokes 46% of the time, compared to 70% of the time for human-written responses. This is evidence that Witscript 2 represents another step toward giving a chatbot a humanlike sense of humor. | 翻訳日:2023-02-08 18:41:27 公開日:2023-02-03 |
| # PDPU:ディープラーニングアプリケーションのためのオープンソースポジットDot-Product Unit PDPU: An Open-Source Posit Dot-Product Unit for Deep Learning Applications ( http://arxiv.org/abs/2302.01876v1 ) ライセンス: Link先を確認 | Qiong Li, Chao Fang, Zhongfeng Wang | (参考訳) Positは、ダイナミックレンジと精度のトレードオフが優れているため、ディープラーニングアプリケーションのためのIEEE-754浮動小数点フォーマットに代わる有望な代替手段である。
しかし、特にディープニューラルネットワーク(DNN)に支配されるドット積演算において、ポジット演算のハードウェア実装にはさらなる探索が必要である。
乗算器と加算木の組み合わせ、あるいは分岐された乗算加算ユニットによって実装され、計算効率が低下し、ハードウェアのオーバーヘッドが過大になった。
本稿では,資源効率と高スループットのドット生成ハードウェアの実装を容易にするオープンソースのポジットドット生成ユニットPDPUを提案する。
PDPUは、冗長なレイテンシとハードウェアリソースを排除した、融合された混合精度アーキテクチャを特徴とするだけでなく、きめ細かい6ステージパイプラインを備え、計算効率が向上している。
計算精度を向上させるため,様々なDNNのニーズを満たす構成可能なPDPUジェネレータを開発した。
28nmCMOSプロセスで評価した結果、PDPUは既存の実装と比較して、最大で43%、最大で64%、消費電力を70%削減できることがわかった。
したがってPDPUは、ディープラーニングアプリケーションのためのpotベースのアクセラレーターのコンピューティングコアとして大きな可能性を秘めている。 Posit has been a promising alternative to the IEEE-754 floating point format for deep learning applications due to its better trade-off between dynamic range and accuracy. However, hardware implementation of posit arithmetic requires further exploration, especially for the dot-product operations dominated in deep neural networks (DNNs). It has been implemented by either the combination of multipliers and an adder tree or cascaded fused multiply-add units, leading to poor computational efficiency and excessive hardware overhead. To address this issue, we propose an open-source posit dot-product unit, namely PDPU, that facilitates resource-efficient and high-throughput dot-product hardware implementation. PDPU not only features the fused and mixed-precision architecture that eliminates redundant latency and hardware resources, but also has a fine-grained 6-stage pipeline, improving computational efficiency. A configurable PDPU generator is further developed to meet the diverse needs of various DNNs for computational accuracy. Experimental results evaluated under the 28nm CMOS process show that PDPU reduces area, latency, and power by up to 43%, 64%, and 70%, respectively, compared to the existing implementations. Hence, PDPU has great potential as the computing core of posit-based accelerators for deep learning applications. | 翻訳日:2023-02-08 18:40:47 公開日:2023-02-03 |
| # ChatGPTは、体系的な文献検索のための優れたブールクエリを書けるか? Can ChatGPT Write a Good Boolean Query for Systematic Review Literature Search? ( http://arxiv.org/abs/2302.03495v1 ) ライセンス: Link先を確認 | Shuai Wang, Harrisen Scells, Bevan Koopman, Guido Zuccon | (参考訳) 体系的レビューは、高度に焦点を絞った研究質問に対する文学の包括的なレビューである。
これらのレビューは、しばしばエビデンスベースの医学における最も高い証拠として扱われ、医学分野の研究に答える重要な戦略である。
高品質のシステマティックレビューを作成するために、レビュートピックの研究を検索するために複雑なbooleanクエリが構築されることが多い。
しかし、体系的なレビュー研究者が高品質な体系的なレビュー Booleanクエリを構築するのに長い時間がかかることがあり、結果として得られるクエリは効果的には程遠い。
粗末なクエリは、重要な証拠の取得を怠ったり、不適切な研究を多すぎるため、レビューコストが大幅に増加するため、バイアスや不正なレビューにつながる可能性がある。
トランスフォーマーに基づく生成モデルの最近の進歩は、ユーザからの指示を効果的に追従し、実行中の指示に基づいて回答を生成する大きな可能性を示している。
本稿では,その最新のモデルであるchatgptが,体系的レビュー文献検索に有効なブールクエリを生成することの有効性について検討する。
タスクの標準テストコレクションに関する多くの実験を通じて、ChatGPTは高い検索精度をもたらすクエリを生成することができるが、リコールのためにこれをトレードオフする。
本研究は,系統的な文献検索のための効果的なBooleanクエリ生成におけるChatGPTの可能性を示す。
ChatGPTが複雑な命令に従い、高い精度でクエリを生成する能力は、研究者が体系的なレビューを行う上で貴重なツールである。 Systematic reviews are comprehensive reviews of the literature for a highly focused research question. These reviews are often treated as the highest form of evidence in evidence-based medicine, and are the key strategy to answer research questions in the medical field. To create a high-quality systematic review, complex Boolean queries are often constructed to retrieve studies for the review topic. However, it often takes a long time for systematic review researchers to construct a high quality systematic review Boolean query, and often the resulting queries are far from effective. Poor queries may lead to biased or invalid reviews, because they missed to retrieve key evidence, or to extensive increase in review costs, because they retrieved too many irrelevant studies. Recent advances in Transformer-based generative models have shown great potential to effectively follow instructions from users and generate answers based on the instructions being made. In this paper, we investigate the effectiveness of the latest of such models, ChatGPT, in generating effective Boolean queries for systematic review literature search. Through a number of extensive experiments on standard test collections for the task, we find that ChatGPT is capable of generating queries that lead to high search precision, although trading-off this for recall. Overall, our study demonstrates the potential of ChatGPT in generating effective Boolean queries for systematic review literature search. The ability of ChatGPT to follow complex instructions and generate queries with high precision makes it a valuable tool for researchers conducting systematic reviews, particularly for rapid reviews where time is a constraint and often trading-off higher precision for lower recall is acceptable. | 翻訳日:2023-02-08 16:16:08 公開日:2023-02-03 |
| # 答え: 現代のグラフニューラルネットワークは、最大独立集合のような組合せ最適化問題を解く際、古典的な欲望アルゴリズムよりも悪い。 Reply to: Modern graph neural networks do worse than classical greedy algorithms in solving combinatorial optimization problems like maximum independent set ( http://arxiv.org/abs/2302.03602v1 ) ライセンス: Link先を確認 | Martin J. A. Schuetz, J. Kyle Brubaker, Helmut G. Katzgraber | (参考訳) 我々は、Chiara Angelini と Federico Ricci-Tersenghi (arXiv:2206.13211) によって書かれたコメントに対する包括的な回答を提供し、このコメントは、厳密なアルゴリズムがうまく動作するであろうスパースグラフ上の最大独立集合 (MIS) に完全に焦点を絞って、特定の非表現的な例問題を単体化していると主張する。
逆に、元の作業の基盤となるより広範なアルゴリズム開発を強調し、(元のフレームワークで)元の結果よりも大きな改善を示す追加の数値結果を提供し、コメントのパフォーマンスステートメントを否定する。
また,Angelini と Ricci-Tersenghi による結果よりも実行時のスケーリングが優れていることを示す。
さらに,提案するランダムなd-正則グラフの集合は,ベンチマークインスタンスの普遍的な集合を提供しておらず,また,欲欲的ヒューリスティックスが普遍的なアルゴリズムベースラインを提供していないことを示す。
最後に、グラフニューラルネットワークの内部(並列)解剖学は、欲望アルゴリズムの(系列的な)性質とは大きく異なり、グラフニューラルネットワークが並列テンパリングのような既存のヒューリスティックに比べて優れたスケーラビリティの可能性を実証していることを強調する。
結論として,本研究の概念的新しさを議論し,その拡張の可能性について概説する。 We provide a comprehensive reply to the comment written by Chiara Angelini and Federico Ricci-Tersenghi [arXiv:2206.13211] and argue that the comment singles out one particular non-representative example problem, entirely focusing on the maximum independent set (MIS) on sparse graphs, for which greedy algorithms are expected to perform well. Conversely, we highlight the broader algorithmic development underlying our original work, and (within our original framework) provide additional numerical results showing sizable improvements over our original results, thereby refuting the comment's performance statements. We also provide results showing run-time scaling superior to the results provided by Angelini and Ricci-Tersenghi. Furthermore, we show that the proposed set of random d-regular graphs does not provide a universal set of benchmark instances, nor do greedy heuristics provide a universal algorithmic baseline. Finally, we argue that the internal (parallel) anatomy of graph neural networks is very different from the (sequential) nature of greedy algorithms and emphasize that graph neural networks have demonstrated their potential for superior scalability compared to existing heuristics such as parallel tempering. We conclude by discussing the conceptual novelty of our work and outline some potential extensions. | 翻訳日:2023-02-08 15:39:40 公開日:2023-02-03 |
| # 準一次元幾何学における同一フェルミオン間の創発的s波相互作用 Emergent s-wave interactions between identical fermions in quasi-one-dimensional geometries ( http://arxiv.org/abs/2206.10415v2 ) ライセンス: Link先を確認 | Kenneth G. Jackson, Colin J. Dale, Jeff Maki, Kevin G. S. Xie, Ben A. Olsen, Denise J. M. Ahmed-Braun, Shizhong Zhang, and Joseph H. Thywissen | (参考訳) 軌道自由度は金属、半導体、強い閉じ込められた電子系において重要な役割を果たす。
超低温原子を用いた実験では、低次元物理学を探索するために非常に異方性な閉じ込めを用いるが、通常は強い拘束方向で運動基底状態を作成することによって軌道自由度を除去する。
ここでは、準1次元(q1D)系におけるスピン偏極フェルミオンカリウム(^{40}$K)の多バンド系を作成し、電波分光法を用いて原子-原子相関の強度を定量化する。
軌道自由度の活性化は、q1D軸に沿った粒子交換パリティを持つ低エネルギー散乱チャネル(英語版)という新しい現象を、基礎となる相互作用がs波であるかのように導く。
この創発的交換対称性は、強い拘束方向の軌道一重項波関数によって実現され、低エネルギーのq1D衝突に高モメンタム成分を与える。
我々は,q1Dの奇波と偶波の「接触」パラメータを初めて測定し,これを1次元多体モデルの理論的予測と比較した。
相互作用の強さと空間対称性は、p波フェシュバッハ共鳴と横閉じ込め強度によって調整される。
共鳴の近くでは、偶波接触はその理論的なユニタリ値に近づき、観測される最大奇波接触はそのユニタリ限界より数桁下にある。
ここで見られるような多軌道系の低エネルギー散乱チャネルは、普遍的な多体現象の探索のための新しい経路を提供するかもしれない。 Orbital degrees of freedom play an essential role in metals, semiconductors, and strongly confined electronic systems. Experiments with ultracold atoms have used highly anisotropic confinement to explore low-dimensional physics, but typically eliminate orbital degrees of freedom by preparing motional ground states in strongly confined directions. Here we prepare multi-band systems of spin-polarized fermionic potassium ($^{40}$K) in the quasi-one-dimensional (q1D) regime and quantify the strength of atom-atom correlations using radio-frequency spectroscopy. The activation of orbital degrees of freedom leads to a new phenomenon: a low-energy scattering channel that has even particle-exchange parity along the q1D axis, as if the underlying interactions were s-wave. This emergent exchange symmetry is enabled by orbital singlet wave functions in the strongly confined directions, which also confer high-momentum components to low-energy q1D collisions. We measure both the q1D odd-wave and even-wave "contact" parameters for the first time, and compare them to theoretical predictions of one-dimensional many-body models. The strength and spatial symmetry of interactions are tuned by a p-wave Feshbach resonance and by transverse confinement strength. Near resonance, the even-wave contact approaches its theoretical unitary value, whereas the maximum observed odd-wave contact remains several orders of magnitude below its unitary limit. Low-energy scattering channels of multi-orbital systems, such as those found here, may provide new routes for the exploration of universal many-body phenomena. | 翻訳日:2023-02-08 12:52:23 公開日:2023-02-03 |
| # 可変運動型神経ハミルトニアン流れによる解釈可能性の向上と複雑さの低減 Fixed-kinetic Neural Hamiltonian Flows for enhanced interpretability and reduced complexity ( http://arxiv.org/abs/2302.01955v1 ) ライセンス: Link先を確認 | Vincent Souveton, Arnaud Guillin, Jens Jasche, Guilhem Lavaux, Manon Michel | (参考訳) 正規化フロー(NF)は、特に堅牢で、学習した分布の正確なサンプリングを可能にする生成モデルである。
しかしそれらは可逆写像の設計を必要とし、ヤコビ行列式は計算可能である必要がある。
最近導入されたニューラルハミルトニアンフロー(NHF)は、連続的、体積保存的で可逆であり、堅牢なNFアーキテクチャの自然な候補となるハミルトン力学に基づくフローに基づいている。
特に、古典力学との類似性は、学習された写像の解釈性に繋がる可能性がある。
しかしながら、物理学にインスパイアされたアーキテクチャであるにもかかわらず、最初に導入されたNHFアーキテクチャは依然として解釈可能性に挑戦している。
そこで本研究では, NHFモデルの固定運動エネルギーバージョンを導入する。
物理学に触発されて、このアプローチは解釈性を改善し、以前提案されたアーキテクチャよりもパラメータを少なくする。
次にハイパーパラメータの選択に対するnhfアーキテクチャのロバスト性について検討する。
本研究では,マルチモーダルな2次元混合物のサンプリングにおいて,跳躍ステップ数,統合時間,隠蔽層毎のニューロン数,および事前分布の選択が与える影響を分析した。
NHFアーキテクチャはこれらの選択、特に固定運動エネルギーモデルに対して堅牢である。
最後に、NHFをベイズ推定の文脈に適応させ、Ia型超新星観測を知るための2つの宇宙パラメータの後方分布をサンプリングする方法について述べる。 Normalizing Flows (NF) are Generative models which are particularly robust and allow for exact sampling of the learned distribution. They however require the design of an invertible mapping, whose Jacobian determinant has to be computable. Recently introduced, Neural Hamiltonian Flows (NHF) are based on Hamiltonian dynamics-based Flows, which are continuous, volume-preserving and invertible and thus make for natural candidates for robust NF architectures. In particular, their similarity to classical Mechanics could lead to easier interpretability of the learned mapping. However, despite being Physics-inspired architectures, the originally introduced NHF architecture still poses a challenge to interpretability. For this reason, in this work, we introduce a fixed kinetic energy version of the NHF model. Inspired by physics, our approach improves interpretability and requires less parameters than previously proposed architectures. We then study the robustness of the NHF architectures to the choice of hyperparameters. We analyze the impact of the number of leapfrog steps, the integration time and the number of neurons per hidden layer, as well as the choice of prior distribution, on sampling a multimodal 2D mixture. The NHF architecture is robust to these choices, especially the fixed-kinetic energy model. Finally, we adapt NHF to the context of Bayesian inference and illustrate our method on sampling the posterior distribution of two cosmological parameters knowing type Ia supernovae observations. | 翻訳日:2023-02-07 21:10:25 公開日:2023-02-03 |
| # 組織的暗黒焦点における微粒子のトラップ Trapping microparticles in a structured dark focus ( http://arxiv.org/abs/2302.01953v1 ) ライセンス: Link先を確認 | F. Almeida, I. Sousa, O. Kremer, B. Pinheiro da Silva, D. S. Tasca, A. Z. Khoury, G. Tempor\~ao, and T. Guerreiro | (参考訳) 我々は,あらゆる方向の光で囲まれた暗焦点(いわゆる暗焦点トウィーザー)からなる構造光ビームにおいて,シリカマイクロスフィアの安定トラップと制御操作を実験的に実証した。
パワースペクトルとポテンシャル解析の結果は、ローレンツ・ミー数値シミュレーションに則って実験データから再構成されたトラップポテンシャルランドスペースの非調和性を示す。
浮遊光学および生体物理学におけるダークツイーザーの適用について論じる。 We experimentally demonstrate stable trapping and controlled manipulation of silica microspheres in a structured optical beam consisting of a dark focus surrounded by light in all directions - the so-called Dark Focus Tweezer. Results from power spectrum and potential analysis demonstrate the non-harmonicity of the trapping potential landspace, which is reconstructed from experimental data in agreement to Lorentz-Mie numerical simulations. Applications of the dark tweezer in levitated optomechanics and biophysics are discussed. | 翻訳日:2023-02-07 21:10:02 公開日:2023-02-03 |
| # 深層学習における勾配降下ダイナミクスと不安定性の連続時間モデルについて On a continuous time model of gradient descent dynamics and instability in deep learning ( http://arxiv.org/abs/2302.01952v1 ) ライセンス: Link先を確認 | Mihaela Rosca and Yan Wu and Chongli Qin and Benoit Dherin | (参考訳) ディープラーニングの成功の背景にあるレシピは、ニューラルネットワークと勾配に基づく最適化の組み合わせだ。
しかし、勾配降下の挙動、特に不安定性を理解することは、その経験的成功を後押ししている。
勾配降下の研究に利用可能な理論ツールに加え、勾配降下ダイナミクスを近似した連続時間流である主流れ(PF)を提案する。
我々の知る限り、PFは局所的なミニマ点やサドル点からの脱出を含む勾配降下の発散と振動の挙動を捉える唯一の連続流である。
ヘッセンの固有分解への依存を通じて、PFは深層学習において最近観測された安定性現象の端に光を放つ。
不安定性に対する新たな理解を用いて,トレーニング安定性とテストセット評価性能のトレードオフを制御できる学習率適応法を提案する。 The recipe behind the success of deep learning has been the combination of neural networks and gradient-based optimization. Understanding the behavior of gradient descent however, and particularly its instability, has lagged behind its empirical success. To add to the theoretical tools available to study gradient descent we propose the principal flow (PF), a continuous time flow that approximates gradient descent dynamics. To our knowledge, the PF is the only continuous flow that captures the divergent and oscillatory behaviors of gradient descent, including escaping local minima and saddle points. Through its dependence on the eigendecomposition of the Hessian the PF sheds light on the recently observed edge of stability phenomena in deep learning. Using our new understanding of instability we propose a learning rate adaptation method which enables us to control the trade-off between training stability and test set evaluation performance. | 翻訳日:2023-02-07 21:09:56 公開日:2023-02-03 |
| # q$-deformed rainbows:自由絡み合いスペクトルのユニバーサルシミュレータ $Q$-Deformed Rainbows: a Universal Simulator of Free Entanglement Spectra ( http://arxiv.org/abs/2302.01950v1 ) ライセンス: Link先を確認 | Lucy Byles, Germ\'an Sierra and Jiannis K. Pachos | (参考訳) 二分割間の相関の挙動は、物質の量子相の診断に不可欠である。
ここでは、位置依存型XX結合と磁場を持つスピン鎖を示し、二分割にまたがる自由フェルミオン相関の任意の構造を再現することができる。
特に、磁場の強さを適切に選択することにより、高い忠実度を持つ絡み合いスペクトルの任意の単一粒子エネルギーを得ることができる。
結果として得られる基底状態は、$q$-deformed singletsという形でエレガントに定式化できる。
本手法の汎用性を示すために,均質な相関関係を持つシステムや素数分解に従う相関関係を持つシステムなど,いくつかの例を考察する。
したがって、量子技術や凝縮物質物理学に応用可能な任意の絡み合いスペクトルの生成に、我々の絡み合いシミュレータは容易に利用できる。 The behaviour of correlations across a bipartition is an indispensable tool in diagnosing quantum phases of matter. Here we present a spin chain with position-dependent XX couplings and magnetic fields, that can reproduce arbitrary structure of free fermion correlations across a bipartition. In particular, by choosing appropriately the strength of the magnetic fields we can obtain any single particle energies of the entanglement spectrum with high fidelity. The resulting ground state can be elegantly formulated in terms of $q$-deformed singlets. To demonstrate the versatility of our method we consider certain examples, such as a system with homogeneous correlations and a system with correlations that follow a prime number decomposition. Hence, our entanglement simulator can be easily employed for the generation of arbitrary entanglement spectra with possible applications in quantum technologies and condensed matter physics. | 翻訳日:2023-02-07 21:09:43 公開日:2023-02-03 |
| # 深層学習によるFermi-LAT検出限界以下ガンマ線源数分布の抽出 Extracting the gamma-ray source-count distribution below the Fermi-LAT detection limit with deep learning ( http://arxiv.org/abs/2302.01947v1 ) ライセンス: Link先を確認 | Aurelio Amerio, Alessandro Cuoco, Nicolao Fornengo | (参考訳) 機械学習技術を用いて、銀河外ガンマ線源数分布(dN/dS$)を再構築する。
具体的には、2次元スカイマップ上に畳み込みニューラルネットワークをトレーニングし、基礎となるソースカウントモデルの様々なパラメータを用いて構築し、Fermi-LATインスツルメンタルレスポンス関数を組み込む。
トレーニングされたニューラルネットワークはFermi-LATデータに適用され、そこからソースカウント分布をFermi-LATしきい値以下50のフラックスレベルまで推定する。
1,10ドルgevエネルギー範囲で収集した14年間のデータを用いて分析を行った。
得られた結果は、解決された状態において、カタログ化された情報源から導出されたものと優れた一致を示し、未解決状態において$dN/dS \sim S^{-2}$として、$5 \cdot 10^{-12}$ cm$^{-2}$ s$^{-1}$まで拡張する。
ニューラルネットワークアーキテクチャと考案された方法論は、将来の分析により、ソース数分布のエネルギー依存性を研究するための柔軟性を有する。 We reconstruct the extra-galactic gamma-ray source-count distribution, or $dN/dS$, of resolved and unresolved sources by adopting machine learning techniques. Specifically, we train a convolutional neural network on synthetic 2-dimensional sky-maps, which are built by varying parameters of underlying source-counts models and incorporate the Fermi-LAT instrumental response functions. The trained neural network is then applied to the Fermi-LAT data, from which we estimate the source count distribution down to flux levels a factor of 50 below the Fermi-LAT threshold. We perform our analysis using 14 years of data collected in the $(1,10)$ GeV energy range. The results we obtain show a source count distribution which, in the resolved regime, is in excellent agreement with the one derived from catalogued sources, and then extends as $dN/dS \sim S^{-2}$ in the unresolved regime, down to fluxes of $5 \cdot 10^{-12}$ cm$^{-2}$ s$^{-1}$. The neural network architecture and the devised methodology have the flexibility to enable future analyses to study the energy dependence of the source-count distribution. | 翻訳日:2023-02-07 21:09:32 公開日:2023-02-03 |
| # 大$N$フォン・ノイマン代数とニュートン定数の再正規化 Large $N$ von Neumann algebras and the renormalization of Newton's constant ( http://arxiv.org/abs/2302.01938v1 ) ライセンス: Link先を確認 | Elliott Gesteau | (参考訳) 私は、ホログラフィック量子誤り訂正符号の大きい$N$制限で有効であり、バルク内の紫外線遮断の選択によってパラメータ化される龍高柳公式の族を導出する。
バルクエントロピー項は、バルク有効場理論を記述する大きな$N$フォンノイマン代数の中でネストされたフォンノイマン因子の族と一致する。
これらの因子は条件付き期待の族によって互いにマッピングされ、コード部分空間の正規化群フローとして解釈される。
この流れの下では、領域項とバルクエントロピー項の再正規化が互いに正確に補うことが示される。
この結果は、ER=EPRパラダイムの具体的な実現と、Susskind と Uglum による予想の明示的な証明を提供する。 I derive a family of Ryu--Takayanagi formulae that are valid in the large $N$ limit of holographic quantum error-correcting codes, and parameterized by a choice of UV cutoff in the bulk. The bulk entropy terms are matched with a family of von Neumann factors nested inside the large $N$ von Neumann algebra describing the bulk effective field theory. These factors are mapped onto one another by a family of conditional expectations, which are interpreted as a renormalization group flow for the code subspace. Under this flow, I show that the renormalizations of the area term and the bulk entropy term exactly compensate each other. This result provides a concrete realization of the ER=EPR paradigm, as well as an explicit proof of a conjecture due to Susskind and Uglum. | 翻訳日:2023-02-07 21:09:06 公開日:2023-02-03 |
| # CAB:認知・感情・行動を伴う共感的対話生成 CAB: Empathetic Dialogue Generation with Cognition, Affection and Behavior ( http://arxiv.org/abs/2302.01935v1 ) ライセンス: Link先を確認 | Pan Gao, Donghong Han, Rui Zhou, Xuejiao Zhang, Zikun Wang | (参考訳) 共感は、よりインテリジェントで人間化された対話エージェントを構築する際に考慮すべき重要な特徴である。
しかし、既存の方法は認知、愛情、行動の3つの側面を含む複雑なプロセスとして共感を完全に理解していなかった。
本稿では,共感反応を生成するための認知,愛情,行動の包括的視点を取り入れた新しいフレームワークであるCABを提案する。
認知のために,外部知識を活用し,対話中の重要なキーワード間の経路を構築する。
これは対話中のキーワードが文の中核であるからである。
既存の作品の大部分で見過ごされているキーワード間の論理関係の構築は、キーワードと文脈論理の理解を改善し、認知能力を高めることができる。
情緒については,両者の感情を含む2つの潜伏変数による情緒的依存を捉える。
その理由は、双方の感情を同時に考えることが、感情的依存を学習するのに役立つからである。
行動には適切な対話行為を用いて対話生成の指導を行い,共感表現の強化を図る。
広範な実験により,マルチパースペクティブモデルが自動評価と手動評価の両方において最先端モデルよりも優れていることが示された。 Empathy is an important characteristic to be considered when building a more intelligent and humanized dialogue agent. However, existing methods did not fully comprehend empathy as a complex process involving three aspects: cognition, affection and behavior. In this paper, we propose CAB, a novel framework that takes a comprehensive perspective of cognition, affection and behavior to generate empathetic responses. For cognition, we build paths between critical keywords in the dialogue by leveraging external knowledge. This is because keywords in a dialogue are the core of sentences. Building the logic relationship between keywords, which is overlooked by the majority of existing works, can improve the understanding of keywords and contextual logic, thus enhance the cognitive ability. For affection, we capture the emotional dependencies with dual latent variables that contain both interlocutors' emotions. The reason is that considering both interlocutors' emotions simultaneously helps to learn the emotional dependencies. For behavior, we use appropriate dialogue acts to guide the dialogue generation to enhance the empathy expression. Extensive experiments demonstrate that our multi-perspective model outperforms the state-of-the-art models in both automatic and manual evaluation. | 翻訳日:2023-02-07 21:08:51 公開日:2023-02-03 |
| # 教育データにおける逐次パターンマイニング:適用状況,可能性,強度,限界 Sequential pattern mining in educational data: The application context, potential, strengths, and limitations ( http://arxiv.org/abs/2302.01932v1 ) ライセンス: Link先を確認 | Yingbin Zhang and Luc Paquette | (参考訳) 研究者たちは、学習プロセスの理解を改善するために、時間分析の利点を提案する。
パターン認識技術としてのシーケンスパターンマイニング(SPM)は、学習の時間的側面を明らかにする可能性があり、教育データ科学において貴重なツールとなる。
しかし、その可能性は十分に理解されておらず、活用されていない。
本章では,教育場面における逐次パターンマイニングを活用した作業について考察する。
学習行動のマイニング,教育理論の分析と充実,指導介入の有効性の評価,予測モデルの特徴の生成,教育推薦システムの構築にspmが適していることを明らかにする。
SPMは、学習者の活動の類似点や相違点を発見し、学習行動の時間的変化を明らかにすることによって、これらの目的に寄与することができる。
逐次分析法として、spmは学習プロセスに関するユニークな洞察を明らかにし、自己統制学習研究に強力である。
学習イベントの相対的配置を他の逐次解析法よりも捉えるのに柔軟である。
今後の研究は、パターン発生を数え、信頼性の低いパターンを識別・除去するツールを開発することで、教育データ科学におけるその有用性を向上する可能性がある。
今後の作業は、データ前処理、パラメータ設定、シーケンシャルパターンの解釈のための体系的なガイドラインを確立する必要がある。 Increasingly, researchers have suggested the benefits of temporal analysis to improve our understanding of the learning process. Sequential pattern mining (SPM), as a pattern recognition technique, has the potential to reveal the temporal aspects of learning and can be a valuable tool in educational data science. However, its potential is not well understood and exploited. This chapter addresses this gap by reviewing work that utilizes sequential pattern mining in educational contexts. We identify that SPM is suitable for mining learning behaviors, analyzing and enriching educational theories, evaluating the efficacy of instructional interventions, generating features for prediction models, and building educational recommender systems. SPM can contribute to these purposes by discovering similarities and differences in learners' activities and revealing the temporal change in learning behaviors. As a sequential analysis method, SPM can reveal unique insights about learning processes and be powerful for self-regulated learning research. It is more flexible in capturing the relative arrangement of learning events than the other sequential analysis methods. Future research may improve its utility in educational data science by developing tools for counting pattern occurrences as well as identifying and removing unreliable patterns. Future work needs to establish a systematic guideline for data preprocessing, parameter setting, and interpreting sequential patterns. | 翻訳日:2023-02-07 21:08:26 公開日:2023-02-03 |
| # VR-LENS:VRにおけるスーパーラーニングベースのサイバーシック検出と説明可能なAI誘導展開 VR-LENS: Super Learning-based Cybersickness Detection and Explainable AI-Guided Deployment in Virtual Reality ( http://arxiv.org/abs/2302.01985v1 ) ライセンス: Link先を確認 | Ripan Kumar Kundu, Osama Yahia Elsaid, Prasad Calyam, Khaza Anuarul Hoque | (参考訳) 最近の多くの研究が、バーチャルリアリティ(VR)におけるサイバーシックを検出するために、機械学習(ML)とディープラーニング(DL)に基づくいくつかの自動化手法を提案している。
しかし,これらの検出方法は計算集約的かつブラックボックス的手法として認識されている。
したがって、これらの技術は、スタンドアロンのVRヘッドマウントディスプレイ(HMD)にデプロイするのに信頼性も実用的でもない。
本稿では、サイバーシックネス検出mlモデルの開発、サイズ削減、qualcomm snapdragon 750gプロセッサベースのsamsung a52デバイスへのデプロイのための、説明可能な人工知能(xai)ベースのフレームワークvr-lensを提案する。
具体的には,サイバーシック検出のための新しいスーパーラーニングベースアンサンブルMLモデルを開発した。
次に,shapley additive explanations (shap), morris sensitivity analysis (msa), local interpretable model-agnostic explanations (lime), partial dependence plot (pdp) といったポストホックな説明法を用いて,期待される結果を説明し,最も重要な特徴を同定する。
スーパーラーナーサイバーシックネスモデルは、識別された支配的特徴を用いて再訓練される。
本手法は, 眼球運動, プレイヤー位置, ガルバニックスキン/ハートレート応答を, 統合センサ, ゲームプレイ, 生体生理学的データセットの最も重要な特徴として同定した。
また,提案したXAI誘導特徴量削減は,ベースライン精度を維持しつつ,モデルトレーニングと推論時間を1.91Xと2.15Xに大幅に短縮することを示した。
例えば,統合型センサデータセットを用いて,サイバーシックネスを96%の精度で4つのクラス (none, low, medium, high) に分類し,根平均二乗誤差 (rmse) を0.03のレグレッション (fms 1-10) に分類した。 A plethora of recent research has proposed several automated methods based on machine learning (ML) and deep learning (DL) to detect cybersickness in Virtual reality (VR). However, these detection methods are perceived as computationally intensive and black-box methods. Thus, those techniques are neither trustworthy nor practical for deploying on standalone VR head-mounted displays (HMDs). This work presents an explainable artificial intelligence (XAI)-based framework VR-LENS for developing cybersickness detection ML models, explaining them, reducing their size, and deploying them in a Qualcomm Snapdragon 750G processor-based Samsung A52 device. Specifically, we first develop a novel super learning-based ensemble ML model for cybersickness detection. Next, we employ a post-hoc explanation method, such as SHapley Additive exPlanations (SHAP), Morris Sensitivity Analysis (MSA), Local Interpretable Model-Agnostic Explanations (LIME), and Partial Dependence Plot (PDP) to explain the expected results and identify the most dominant features. The super learner cybersickness model is then retrained using the identified dominant features. Our proposed method identified eye tracking, player position, and galvanic skin/heart rate response as the most dominant features for the integrated sensor, gameplay, and bio-physiological datasets. We also show that the proposed XAI-guided feature reduction significantly reduces the model training and inference time by 1.91X and 2.15X while maintaining baseline accuracy. For instance, using the integrated sensor dataset, our reduced super learner model outperforms the state-of-the-art works by classifying cybersickness into 4 classes (none, low, medium, and high) with an accuracy of 96% and regressing (FMS 1-10) with a Root Mean Square Error (RMSE) of 0.03. | 翻訳日:2023-02-07 21:02:04 公開日:2023-02-03 |
| # PSST!
トランスフォーマによる韻律音声セグメンテーション PSST! Prosodic Speech Segmentation with Transformers ( http://arxiv.org/abs/2302.01984v1 ) ライセンス: Link先を確認 | Nathan Roll, Calbert Graham, Simon Todd | (参考訳) 自己認識機構により、多くの音声テキスト(STT)タスクにおいてトランスフォーマーが超人間レベルのパフォーマンスを達成することができるが、自動韻律分割の課題は未解決のままである。
本稿では,事前学習したsttモデルであるwhisperを用いて,低周波トークンの再設定によるイントネーション単位 (iu) 境界のアノテートを行う。
提案手法は95.8%の精度を達成し,大規模ラベル付きデータやエンタープライズグレードの計算資源を必要とせず,従来の手法よりも優れている。
また、一連のフィルタを適用して入力信号を低減し、3.2kHzの低域通過フィルタはサンプル外および分布コンテキスト外におけるセグメンテーション性能を向上させる。
我々は,韻律セグメンテーションのさらなる改善のために,転写ツールとベースラインとしてモデルをリリースする。 Self-attention mechanisms have enabled transformers to achieve superhuman-level performance on many speech-to-text (STT) tasks, yet the challenge of automatic prosodic segmentation has remained unsolved. In this paper we finetune Whisper, a pretrained STT model, to annotate intonation unit (IU) boundaries by repurposing low-frequency tokens. Our approach achieves an accuracy of 95.8%, outperforming previous methods without the need for large-scale labeled data or enterprise grade compute resources. We also diminish input signals by applying a series of filters, finding that low pass filters at a 3.2 kHz level improve segmentation performance in out of sample and out of distribution contexts. We release our model as both a transcription tool and a baseline for further improvements in prosodic segmentation. | 翻訳日:2023-02-07 21:01:23 公開日:2023-02-03 |
| # SPARling: 極めてスパースなアクティベーションによる潜在表現の学習 SPARLING: Learning Latent Representations with Extremely Sparse Activations ( http://arxiv.org/abs/2302.01976v1 ) ライセンス: Link先を確認 | Kavi Gupta, Osbert Bastani, Armando Solar-Lezama | (参考訳) 実世界のプロセスは、しばしば極端にスパースなテンソルとしてモデル化できる中間状態を含む。
Sparlingは、極端なアクティベーション空間を強制することによって、この状態を明示的にモデル化する、新しいタイプの情報ボトルネックである。
また、本手法は、追加の監督なしに真の中間表現(例えば、エンド・ツー・エンドのラベル付き例のみから)を学習し、結果として得られるモデルの解釈可能性を向上させることができることを示す。
DigitCircleドメインでは、エンドツーエンドのトレーニングのみであっても、中間状態予測の精度は98.84%になる。 Real-world processes often contain intermediate state that can be modeled as an extremely sparse tensor. We introduce Sparling, a new kind of informational bottleneck that explicitly models this state by enforcing extreme activation sparsity. We additionally demonstrate that this technique can be used to learn the true intermediate representation with no additional supervision (i.e., from only end-to-end labeled examples), and thus improve the interpretability of the resulting models. On our DigitCircle domain, we are able to get an intermediate state prediction accuracy of 98.84%, even as we only train end-to-end. | 翻訳日:2023-02-07 21:01:07 公開日:2023-02-03 |
| # プログラミング言語の分布の影響を測定する Measuring The Impact Of Programming Language Distribution ( http://arxiv.org/abs/2302.01973v1 ) ライセンス: Link先を確認 | Gabriel Orlanski, Kefan Xiao, Xavier Garcia, Jeffrey Hui, Joshua Howland, Jonathan Malmaud, Jacob Austin, Rishah Singh, Michele Catasta | (参考訳) ニューラルコードモデルを評価するための現在のベンチマークは、goやrustのような多くの人気言語を除いて、プログラミング言語の小さなサブセットのみに焦点を当てている。
この問題を改善するために,任意の言語におけるベンチマークの実行ベース評価のためのBabelCodeフレームワークを提案する。
BabelCodeは、モデルのメモリ、ランタイム、そして個々のテストケース結果の質的なパフォーマンスに関する新たな調査を可能にする。
さらに、pythonプログラミングパズル(schuster et al. 2021)ベンチマークから、エキスパートレベルのpython関数を任意の言語に翻訳する、translating python programming puzzles(tp3)と呼ばれる新しいコード翻訳データセットも提示する。
BabelCodeとTP3ベンチマークの両方を用いて、トレーニングデータセットにおける14言語の分散のバランスが、低リソース言語における大規模言語モデルの性能を改善するかどうかを検討する。
バランスの取れたコーパスでモデルをトレーニングすると、平均して12.34%の$pass@k$がベースラインと比較してすべてのタスクや言語に対して高くなる。
この戦略は、低リソース言語では66.48%の$pass@k$を、高リソース言語ではわずか12.94%のコストで達成している。
私たちの3つの翻訳タスクでは、この戦略は平均30.77%の低リソース$pass@k$、19.58%の高リソース$pass@k$をもたらす。 Current benchmarks for evaluating neural code models focus on only a small subset of programming languages, excluding many popular languages such as Go or Rust. To ameliorate this issue, we present the BabelCode framework for execution-based evaluation of any benchmark in any language. BabelCode enables new investigations into the qualitative performance of models' memory, runtime, and individual test case results. Additionally, we present a new code translation dataset called Translating Python Programming Puzzles (TP3) from the Python Programming Puzzles (Schuster et al. 2021) benchmark that involves translating expert-level python functions to any language. With both BabelCode and the TP3 benchmark, we investigate if balancing the distributions of 14 languages in a training dataset improves a large language model's performance on low-resource languages. Training a model on a balanced corpus results in, on average, 12.34% higher $pass@k$ across all tasks and languages compared to the baseline. We find that this strategy achieves 66.48% better $pass@k$ on low-resource languages at the cost of only a 12.94% decrease to high-resource languages. In our three translation tasks, this strategy yields, on average, 30.77% better low-resource $pass@k$ while having 19.58% worse high-resource $pass@k$. | 翻訳日:2023-02-07 21:00:55 公開日:2023-02-03 |
| # 競合コンテンツクリエーターの推薦でトップ$Kはどれぐらい悪いのか? How Bad is Top-$K$ Recommendation under Competing Content Creators? ( http://arxiv.org/abs/2302.01971v1 ) ライセンス: Link先を確認 | Fan Yao, Chuanhao Li, Denis Nekipelov, Hongning Wang, Haifeng Xu | (参考訳) コンテンツクリエーターはレコメンデーションプラットフォームでの露出を競い合い、このような戦略的行動はコンテンツ配信の動的な変化につながる。
しかし、クリエイターの競争がユーザーの福祉にどのように影響し、関連性による推薦が長期的にのダイナミクスにどのように影響するかは、いまだに不明である。
この研究はこれらの研究課題に関する理論的洞察を提供する。
私たちは、創造者の競争をこう仮定してモデル化します。
1) プラットフォームは,無害な最高額のK$レコメンデーションポリシーを採用している。
2) ユーザ決定は,ランダム・ユーティリティ・モデルに従う。
3)コンテンツクリエーターはユーザのエンゲージメントを競い合い、自分のユーティリティ機能を知ることなく、任意のノンリグレット学習アルゴリズムを適用して戦略を更新する。
我々は,アナーキー価格のレンズを通してユーザ福祉保証を調査し,クリエーター競争によるユーザ福祉損失のごく一部が,k$とユーザ決定のランダム性によって常に小さな定数によって上限されていることを証明した。
提案手法は,ユーザの判断がランダム性にかかわる場合や,プラットフォームがユーザに対して合理的に多くの代替手段を提供する限り,関連性駆動マッチングが長期的には合理的に機能することを示す。 Content creators compete for exposure on recommendation platforms, and such strategic behavior leads to a dynamic shift over the content distribution. However, how the creators' competition impacts user welfare and how the relevance-driven recommendation influences the dynamics in the long run are still largely unknown. This work provides theoretical insights into these research questions. We model the creators' competition under the assumptions that: 1) the platform employs an innocuous top-$K$ recommendation policy; 2) user decisions follow the Random Utility model; 3) content creators compete for user engagement and, without knowing their utility function in hindsight, apply arbitrary no-regret learning algorithms to update their strategies. We study the user welfare guarantee through the lens of Price of Anarchy and show that the fraction of user welfare loss due to creator competition is always upper bounded by a small constant depending on $K$ and randomness in user decisions; we also prove the tightness of this bound. Our result discloses an intrinsic merit of the myopic approach to the recommendation, i.e., relevance-driven matching performs reasonably well in the long run, as long as users' decisions involve randomness and the platform provides reasonably many alternatives to its users. | 翻訳日:2023-02-07 21:00:31 公開日:2023-02-03 |
| # 制約付き二値最適化のための効率的勾配近似法 Efficient Gradient Approximation Method for Constrained Bilevel Optimization ( http://arxiv.org/abs/2302.01970v1 ) ライセンス: Link先を確認 | Siyuan Xu and Minghui Zhu | (参考訳) 大規模・高次元データを用いた機械学習タスクの2レベル最適化が開発されている。
本稿では,低レベル最適化問題は等式および不等式制約を伴う凸であり,上位レベルの最適化問題は非凸である制約付き2次最適化問題を考える。
全体の対象関数は非凸かつ非微分可能である。
そこで本研究では,現在推定値の近傍における対象関数のいくつかの代表的勾配を計算し,降下方向を決定する勾配近似法という勾配に基づく手法を開発した。
本稿では,アルゴリズムがクラーク定常点の集合に漸近的に収束していることを示し,ハイパーパラメータ最適化とメタラーニングの実験によるアルゴリズムの有効性を示す。 Bilevel optimization has been developed for many machine learning tasks with large-scale and high-dimensional data. This paper considers a constrained bilevel optimization problem, where the lower-level optimization problem is convex with equality and inequality constraints and the upper-level optimization problem is non-convex. The overall objective function is non-convex and non-differentiable. To solve the problem, we develop a gradient-based approach, called gradient approximation method, which determines the descent direction by computing several representative gradients of the objective function inside a neighborhood of the current estimate. We show that the algorithm asymptotically converges to the set of Clarke stationary points, and demonstrate the efficacy of the algorithm by the experiments on hyperparameter optimization and meta-learning. | 翻訳日:2023-02-07 21:00:08 公開日:2023-02-03 |
| # 開ボソニック系と確率微分方程式の対応 Correspondence between open bosonic systems and stochastic differential equations ( http://arxiv.org/abs/2302.01962v1 ) ライセンス: Link先を確認 | Alexander Engel and Scott E. Parker | (参考訳) ボソニック平均場理論(bosonic mean-field theory)は、$n \gg 1$のボソン系の力学を近似することができる。
ボゾン系が環境との相互作用を含むように一般化され、平均場理論が確率微分方程式に置き換えられるとき、有限$n$で正確な対応が存在することを示す。
n \to \infty$ の極限を取ると、この微分方程式の確率項は消滅し、平均場理論が復活する。
有限量子系の振舞いと$n \to \infty$で与えられる古典的な極限との差についての洞察を提供するだけでなく、発達した数学は確率的非線形微分方程式を解く量子アルゴリズムの基礎を与えることができる。
これらの量子アルゴリズムの効率性に関する条件について議論し,確率的システムサイズのログにおける複雑性が多項式となる可能性に注目した。
確率的離散非線形シュル'{o}ディンガー方程式の形をした特定の系をより詳細に解析する。 Bosonic mean-field theories can approximate the dynamics of systems of $n$ bosons provided that $n \gg 1$. We show that there can also be an exact correspondence at finite $n$ when the bosonic system is generalized to include interactions with the environment and the mean-field theory is replaced by a stochastic differential equation. When the $n \to \infty$ limit is taken, the stochastic terms in this differential equation vanish, and a mean-field theory is recovered. Besides providing insight into the differences between the behavior of finite quantum systems and their classical limits given by $n \to \infty$, the developed mathematics can provide a basis for quantum algorithms that solve some stochastic nonlinear differential equations. We discuss conditions on the efficiency of these quantum algorithms, with a focus on the possibility for the complexity to be polynomial in the log of the stochastic system size. A particular system with the form of a stochastic discrete nonlinear Schr\"{o}dinger equation is analyzed in more detail. | 翻訳日:2023-02-07 20:59:57 公開日:2023-02-03 |
| # 特徴凸ニューラルネットワークによる不斉認定ロバスト性 Asymmetric Certified Robustness via Feature-Convex Neural Networks ( http://arxiv.org/abs/2302.01961v1 ) ライセンス: Link先を確認 | Samuel Pfrommer, Brendon G. Anderson, Julien Piet, Somayeh Sojoudi | (参考訳) 最近の研究は、入力凸ニューラルネットワーク(ICNN)を、その凸構造に関連付けられた有利なトレーニング、推論、一般化特性を持つ学習モデルとして導入している。
本稿では,リプシッツ特徴写像を用いたICNNの構成として,新たな特徴凸ニューラルネットワークアーキテクチャを提案する。
このクラスでは、任意の$\ell_p$-norms に対して、決定論的、閉形式、容易に計算可能な証明されたロバスト radii が証明される。
決定領域の幾何を特徴付けることによってこれらのモデルの使用を理論的に正当化し、ICNN回帰の普遍近似定理を分類設定に拡張し、そのようなモデルが十分に高次元の非構造化データにも完全に適合する確率の低い境界を証明した。
malimg マルウェアの分類と mnist, fashion-mnist, cifar-10 データセットのサブセットに関する実験により、機能凸分類器は、どの競合ベースラインよりも計算効率がはるかに高い一方で、高度な $\ell_1$-radii と、相当な $\ell_2$- および $\ell_{\infty}$-radii を達成できることが示されている。 Recent works have introduced input-convex neural networks (ICNNs) as learning models with advantageous training, inference, and generalization properties linked to their convex structure. In this paper, we propose a novel feature-convex neural network architecture as the composition of an ICNN with a Lipschitz feature map in order to achieve adversarial robustness. We consider the asymmetric binary classification setting with one "sensitive" class, and for this class we prove deterministic, closed-form, and easily-computable certified robust radii for arbitrary $\ell_p$-norms. We theoretically justify the use of these models by characterizing their decision region geometry, extending the universal approximation theorem for ICNN regression to the classification setting, and proving a lower bound on the probability that such models perfectly fit even unstructured uniformly distributed data in sufficiently high dimensions. Experiments on Malimg malware classification and subsets of MNIST, Fashion-MNIST, and CIFAR-10 datasets show that feature-convex classifiers attain state-of-the-art certified $\ell_1$-radii as well as substantial $\ell_2$- and $\ell_{\infty}$-radii while being far more computationally efficient than any competitive baseline. | 翻訳日:2023-02-07 20:59:39 公開日:2023-02-03 |
| # フォン・ノイマン代数の型分類に関する注記 Notes on the type classification of von Neumann algebras ( http://arxiv.org/abs/2302.01958v1 ) ライセンス: Link先を確認 | Jonathan Sorce | (参考訳) これらのノートはフォン・ノイマン代数の型分類の説明であり、近年の量子場論と量子重力の絡み合いに関する研究で多くの言及がなされている。
目標は、専門家でない読者には技術的すぎるリソースと、正確な定義を与えずに理論の幅広い直観を説明しようとするリソースの間の文学のギャップを埋めることである。
これらのメモを読むと
(i)なぜ「因子」が研究すべき基本フォン・ノイマン代数であるのかという議論。
(二)非正規化正作用素を「有効密度行列」に変換する正規化スキームにおける因子の型分類の直観的説明
(iii) ファクター上の許容トレースの観点で、異なる種類の再正規化スキームの数学的説明
(iv)「標準形」という観点からのi型及びii型要因の直感的特徴付け及び
(v) 型分類とモジュラー理論の間の興味深い関係の一覧で、なぜ型III$_1$因子が場の量子論において関連するものと考えられるのかという議論を含む。
これはChandrasekaran氏、Longo氏、Penington氏、Witten氏による最近の重力に関する最近の研究とよく似ている。 These notes provide an explanation of the type classification of von Neumann algebras, which has made many appearances in recent work on entanglement in quantum field theory and quantum gravity. The goal is to bridge a gap in the literature between resources that are too technical for the non-expert reader, and resources that seek to explain the broad intuition of the theory without giving precise definitions. Reading these notes will provide you with: (i) an argument for why "factors" are the fundamental von Neumann algebras that one needs to study; (ii) an intuitive explanation of the type classification of factors in terms of renormalization schemes that turn unnormalizable positive operators into "effective density matrices;" (iii) a mathematical explanation of the different types of renormalization schemes in terms of the allowed traces on a factor; (iv) an intuitive characterization of type I and II factors in terms of their "standard forms;" and (v) a list of some interesting connections between type classification and modular theory, including the argument for why type III$_1$ factors are believed to be the relevant ones in quantum field theory. None of the material is new, but the pedagogy is different from other sources I have read; it is most similar in spirit to the recent work on gravity and the crossed product by Chandrasekaran, Longo, Penington, and Witten. | 翻訳日:2023-02-07 20:59:12 公開日:2023-02-03 |
| # ゆらぎ散布理論のAI実装による海雲漂白点への影響の高速化 Accelerating exploration of Marine Cloud Brightening impacts on tipping points Using an AI Implementation of Fluctuation-Dissipation Theorem ( http://arxiv.org/abs/2302.01957v1 ) ライセンス: Link先を確認 | Haruki Hirasawa, Sookyung Kim, Peetak Mitra, Subhashis Hazarika, Salva Ruhling-Cachay, Dipti Hingmire, Kalai Ramea, Hansi Singh, Philip J. Rasch | (参考訳) 海洋雲の鮮明化(MCB)は、温室効果ガスの温暖化を部分的にオフセットし、気候の転換点を越えることを避けるための気候介入技術である。
mcbの地域気候への影響は、一般的に計算コストの高い地球系モデル(esm)シミュレーションを用いて推定され、潜在的なmcb介入の可能性の大きな空間の徹底的な評価を妨げている。
ここでは,ゆらぎ散逸定理(fdt)の新たな応用を通じて,強制に対する気候応答を迅速に予測するために使用できるaibedoというaiモデルについて述べる。
AiBEDO は多層パーセプトロン (MLP) モデルであり、月平均放射線異常を利用して、様々な時間ラグで気候異常を表面化する。
内部の騒音を含むESMシミュレーションの大規模なデータセットを活用することで、ESMシミュレーションに対して評価を行う際に、AiBEDOを用いて、MCB強制に対する気候応答をうまく予測するFDT演算子を構築する。
我々は,aibedo-fdtを用いて,気候の他の地域における負の副作用を最小限に抑えつつ,チップングポイントリスクを低減させるパターンを最適化することを提案する。 Marine cloud brightening (MCB) is a proposed climate intervention technology to partially offset greenhouse gas warming and possibly avoid crossing climate tipping points. The impacts of MCB on regional climate are typically estimated using computationally expensive Earth System Model (ESM) simulations, preventing a thorough assessment of the large possibility space of potential MCB interventions. Here, we describe an AI model, named AiBEDO, that can be used to rapidly projects climate responses to forcings via a novel application of the Fluctuation-Dissipation Theorem (FDT). AiBEDO is a Multilayer Perceptron (MLP) model that uses maps monthly-mean radiation anomalies to surface climate anomalies at a range of time lags. By leveraging a large existing dataset of ESM simulations containing internal climate noise, we use AiBEDO to construct an FDT operator that successfully projects climate responses to MCB forcing, when evaluated against ESM simulations. We propose that AiBEDO-FDT can be used to optimize MCB forcing patterns to reduce tipping point risks while minimizing negative side effects in other parts of the climate. | 翻訳日:2023-02-07 20:58:51 公開日:2023-02-03 |
| # リバランスサブドメインアライメントによるドメイン適応 Domain Adaptation via Rebalanced Sub-domain Alignment ( http://arxiv.org/abs/2302.02009v1 ) ライセンス: Link先を確認 | Yiling Liu, Juncheng Dong, Ziyang Jiang, Ahmed Aloui, Keyu Li, Hunter Klein, Vahid Tarokh, David Carlson | (参考訳) unsupervised domain adaptation(unsupervised domain adaptation、uda)は、ラベル付きソースドメインから異なるが関連しないターゲットドメインに知識を転送するテクニックである。
過去に多くのUDA手法が成功したが、ソースとターゲットドメインは同一のクラスラベル分布を持つ必要があると仮定し、現実のシナリオにおけるそれらの有効性を制限することができる。
この制限に対処するために、ソースとターゲットサブドメインを整列させて、ソース分類エラーを重み付けする新しい一般化法を提案する。
提案した一般化境界は、現実的な仮定の下では、少なくとも既存の境界と同じくらい強いことを証明し、実世界のデータに対してより強いことを示す。
次に,この新しい一般化境界を最小化するアルゴリズムを提案する。
本手法は, 最先端手法と比較して, シフトしたクラス分布シナリオの性能向上を実証する。 Unsupervised domain adaptation (UDA) is a technique used to transfer knowledge from a labeled source domain to a different but related unlabeled target domain. While many UDA methods have shown success in the past, they often assume that the source and target domains must have identical class label distributions, which can limit their effectiveness in real-world scenarios. To address this limitation, we propose a novel generalization bound that reweights source classification error by aligning source and target sub-domains. We prove that our proposed generalization bound is at least as strong as existing bounds under realistic assumptions, and we empirically show that it is much stronger on real-world data. We then propose an algorithm to minimize this novel generalization bound. We demonstrate by numerical experiments that this approach improves performance in shifted class distribution scenarios compared to state-of-the-art methods. | 翻訳日:2023-02-07 20:53:20 公開日:2023-02-03 |
| # Witscript:会話における改善されたジョーク生成システム Witscript: A System for Generating Improvised Jokes in a Conversation ( http://arxiv.org/abs/2302.02008v1 ) ライセンス: Link先を確認 | Joe Toplyn | (参考訳) チャットボットは、アウトプットにジョークが含まれていると、より人間らしく、好まれると見なされる。
しかし、既存のジョークジェネレータの多くはチャットボットに統合されるように設計されていなかった。
本稿では,会話中のユーモラスな反応など,本来の文脈に関連のあるジョークを即興で再現できる新しいジョーク生成システムであるWitscriptを提案する。
このシステムは、プロのコメディライターが作ったジョークを書くアルゴリズムに基づいている。
witscriptは自然言語処理のよく知られたツールを使用してトピック文からキーワードを抽出し、wordplayを使ってそれらのキーワードと関連する単語をリンクしてパンチラインを作成する。
そして、テレビ番組のモノローグジョークのデータセットに微調整された事前学習されたニューラルネットワーク言語モデルを用いて、話題文とパンチラインのギャップを埋めてジョーク応答を完了させる。
内部スコアリングの方法は、予め設定された品質基準を満たしていないジョークをフィルタリングする。
人間の評価者は、入力文に対するWitscriptの反応が40%以上のジョークであると判断した。
これは、Witscriptがチャットボットに人間のようなユーモアを与えるための重要なステップであることを示す証拠だ。 A chatbot is perceived as more humanlike and likeable if it includes some jokes in its output. But most existing joke generators were not designed to be integrated into chatbots. This paper presents Witscript, a novel joke generation system that can improvise original, contextually relevant jokes, such as humorous responses during a conversation. The system is based on joke writing algorithms created by an expert comedy writer. Witscript employs well-known tools of natural language processing to extract keywords from a topic sentence and, using wordplay, to link those keywords and related words to create a punch line. Then a pretrained neural network language model that has been fine-tuned on a dataset of TV show monologue jokes is used to complete the joke response by filling the gap between the topic sentence and the punch line. A method of internal scoring filters out jokes that don't meet a preset standard of quality. Human evaluators judged Witscript's responses to input sentences to be jokes more than 40% of the time. This is evidence that Witscript represents an important next step toward giving a chatbot a humanlike sense of humor. | 翻訳日:2023-02-07 20:53:05 公開日:2023-02-03 |
| # 非線形データと数値データとの相関解析について On the Analysis of Correlation Between Nominal Data and Numerical Data ( http://arxiv.org/abs/2302.02007v1 ) ライセンス: Link先を確認 | Zenon Gniazdowski | (参考訳) 本稿では,名目データと数値データとの線形相関関係の強度を測定する可能性を検討する。
実数で符号化された変数と複素数で符号化された変数の相関係数について検討した。
実数で符号化された変数に対しては、実線形相関の曖昧な測度が得られた。
複素符号化の場合、得られた複素相関係数は、等しい濃度の要素の符号クラスに用いられる複素数における位相の置換によって変化することが観測されている。
線形相関に必要となる条件は,データセットの線形順序付けの可能性であることがわかった。
複素数の集合では線形順序は不可能であるため、複素相関係数を線形相関の尺度として使うことはできない。
このような状況の場合には、名目データを含む集合に含まれる同一要素のクラスの等濃度を防止するための代用措置が提案された。
この動作はデータの修正であり、欠落または外れ値を含むデータの前処理またはクリーニング中の補正と類似している。 The article investigates the possibility of measuring the strength of a linear correlation relationship between nominal data and numerical data. Correlation coefficients for variables coded with real numbers as well as for variables coded with complex numbers were studied. For variables coded with real numbers, unambiguous measures of real linear correlation were obtained. In the case of complex coding, it has been observed that the obtained complex correlation coefficients change with the permutation of the phases in the complex numbers used to code classes of elements with equal cardinalities. It was found that a necessary condition for linear correlation is the possibility of linear ordering of a set with data. Since linear order is not possible in the set of complex numbers, complex correlation coefficients cannot be used as a measure of linear correlation. In the event of such a situation, a substitute action was suggested that would prevent equal cardinality of classes of identical elements contained in the set with nominal data. This action would consist in the correction of data, analogous to the correction during preprocessing or cleaning of data containing missing or outlier values. | 翻訳日:2023-02-07 20:52:48 公開日:2023-02-03 |
| # 単一サンプルによるロバストな予算ペーシング Robust Budget Pacing with a Single Sample ( http://arxiv.org/abs/2302.02006v1 ) ライセンス: Link先を確認 | Santiago Balseiro, Rachitesh Kumar, Vahab Mirrokni, Balasubramanian Sivan, Di Wang | (参考訳) 主要なインターネット広告プラットフォームは、広告主が広告キャンペーンを管理するための標準サービスとして予算調整ツールを提供している。
広告主の価値と競合する広告主の価値観に固有の非定常性を考えると、一般的に使用されるアプローチは、目標支出を時間の関数として指定した目標支出計画を学び、その計画を追跡するコントローラを実行することである。
良質な支出計画を学ぶために、どのくらいの歴史的サンプルが必要か?
本研究では,その価格と競争入札額のタプルが未知の時間変動分布から引き出されるような,第2価格のオークションに繰り返し参加する広告主について検討する。
広告主は、予算制約の対象となる全ユーティリティを最大化しようとします。
以前の研究は、最適な$o(\sqrt{t})$-regretを達成するために、分布あたりの$t\log t$サンプルの十分性を示した。
我々は、この最先端を劇的に改善し、サンプリング分布のノイズに対して頑健でありながら、ほぼ最適の$\tilde O(\sqrt{T})$-regretを達成するのに十分であることを示す。 Major Internet advertising platforms offer budget pacing tools as a standard service for advertisers to manage their ad campaigns. Given the inherent non-stationarity in an advertiser's value and also competing advertisers' values over time, a commonly used approach is to learn a target expenditure plan that specifies a target spend as a function of time, and then run a controller that tracks this plan. This raises the question: how many historical samples are required to learn a good expenditure plan? We study this question by considering an advertiser repeatedly participating in $T$ second-price auctions, where the tuple of her value and the highest competing bid is drawn from an unknown time-varying distribution. The advertiser seeks to maximize her total utility subject to her budget constraint. Prior work has shown the sufficiency of $T\log T$ samples per distribution to achieve the optimal $O(\sqrt{T})$-regret. We dramatically improve this state-of-the-art and show that just one sample per distribution is enough to achieve the near-optimal $\tilde O(\sqrt{T})$-regret, while still being robust to noise in the sampling distributions. | 翻訳日:2023-02-07 20:52:34 公開日:2023-02-03 |
| # DeepAstroUDA: クロスサーベイ銀河形態分類と異常検出のための半教師付きユニバーサルドメイン適応 DeepAstroUDA: Semi-Supervised Universal Domain Adaptation for Cross-Survey Galaxy Morphology Classification and Anomaly Detection ( http://arxiv.org/abs/2302.02005v1 ) ライセンス: Link先を確認 | A. \'Ciprijanovi\'c, A. Lewis, K. Pedro, S. Madireddy, B. Nord, G. N. Perdue, S. M. Wild | (参考訳) 人工知能の手法は、大きな天文学的なデータセットでの作業の品質とスピードを高める上で大きな可能性を秘めているが、これらの手法の複雑さは、データセット固有の非破壊的な特徴の抽出につながる。
したがって、そのような手法は複数のデータセットにわたってうまく一般化しない。
この課題を克服するためのアプローチとして,ユニバーサルドメイン適応法である \textit{deepastrouda} を提案する。
このアルゴリズムは半教師付きドメイン適応を実行し、異なるデータ分布とクラスオーバーラップを持つデータセットに適用することができる。
重複しないクラスは2つのデータセット(ラベル付きソースドメイン、ラベルなしターゲットドメイン)のいずれかに存在し、メソッドは未知のクラスの存在下でも使用できる。
本稿では,3種類の銀河形態分類タスク(3$クラス,10$クラス)を,異常検出を伴う3つの例に適用する。
1)1回の調査から異なる数の観測年を経て作成されたデータセット(1ドルのモックデータと10ドルの観測年数)。
2)異なる調査(SDSS及びDECLS)のデータ及び
3)1回のサーベイ(ワイドフィールドとストライプ82深視野sds)で異なる深度の観測フィールドからのデータ。
今回我々は,非常に異なる観測データセット間でのドメイン適応の利用を初めて実証した。
\textit{deepastrouda} は、2つの天文調査の間のギャップを橋渡しし、両領域の分類精度を高め(ラベルなしのデータで最大$40\%)、モデルのパフォーマンスをデータセット間で一貫性を持たせることができる。
さらに,この手法は異常検出アルゴリズムとしても機能し,ラベルなしのターゲットデータセットにおいても未知のクラスサンプルの収集に成功している。 Artificial intelligence methods show great promise in increasing the quality and speed of work with large astronomical datasets, but the high complexity of these methods leads to the extraction of dataset-specific, non-robust features. Therefore, such methods do not generalize well across multiple datasets. We present a universal domain adaptation method, \textit{DeepAstroUDA}, as an approach to overcome this challenge. This algorithm performs semi-supervised domain adaptation and can be applied to datasets with different data distributions and class overlaps. Non-overlapping classes can be present in any of the two datasets (the labeled source domain, or the unlabeled target domain), and the method can even be used in the presence of unknown classes. We apply our method to three examples of galaxy morphology classification tasks of different complexities ($3$-class and $10$-class problems), with anomaly detection: 1) datasets created after different numbers of observing years from a single survey (LSST mock data of $1$ and $10$ years of observations); 2) data from different surveys (SDSS and DECaLS); and 3) data from observing fields with different depths within one survey (wide field and Stripe 82 deep field of SDSS). For the first time, we demonstrate the successful use of domain adaptation between very discrepant observational datasets. \textit{DeepAstroUDA} is capable of bridging the gap between two astronomical surveys, increasing classification accuracy in both domains (up to $40\%$ on the unlabeled data), and making model performance consistent across datasets. Furthermore, our method also performs well as an anomaly detection algorithm and successfully clusters unknown class samples even in the unlabeled target dataset. | 翻訳日:2023-02-07 20:52:11 公開日:2023-02-03 |
| # クープマン演算子学習:シャープスペクトル速度と純粋固有値 Koopman Operator Learning: Sharp Spectral Rates and Spurious Eigenvalues ( http://arxiv.org/abs/2302.02004v1 ) ライセンス: Link先を確認 | Vladimir Kostic, Karim Lounici, Pietro Novelli, Massimiliano Pontil | (参考訳) 非線形力学系は、関連するクープマン作用素(英語版)(koopman operator)によって手軽に記述され、その作用はシステムの全ての可観測性が経時的に進化する。
データからKoopman演算子を学ぶことは、多くのアルゴリズムによって実現されている。
本研究では,拡張動的モード分解 (edmd) と還元ランク回帰 (rrr) の2つのアルゴリズムにより推定されるkoopman固有値と固有関数の非漸近的学習境界を提案する。
我々は時間反転不変マルコフ連鎖に焦点を当て、クープマン作用素が自己共役であることを示唆する。
これには確率力学系の重要な例、特にランゲヴィン力学が含まれる。
我々のスペクトル学習境界は、推定器のオペレータノルムリスクと対応する固有関数に関連する計量歪みの同時制御によって駆動される。
分析の結果,両アルゴリズムの差は似ているが,EDMDは学習速度に有害な大きなバイアスに悩まされている。
さらに、大きな計量歪みは、経験的に観測された現象である突発的な固有値をもたらす可能性があり、計量歪みはデータから推定できることに留意する。
数値実験は理論的な結果を補完する。 Non-linear dynamical systems can be handily described by the associated Koopman operator, whose action evolves every observable of the system forward in time. Learning the Koopman operator from data is enabled by a number of algorithms. In this work we present nonasymptotic learning bounds for the Koopman eigenvalues and eigenfunctions estimated by two popular algorithms: Extended Dynamic Mode Decomposition (EDMD) and Reduced Rank Regression (RRR). We focus on time-reversal-invariant Markov chains, implying that the Koopman operator is self-adjoint. This includes important examples of stochastic dynamical systems, notably Langevin dynamics. Our spectral learning bounds are driven by the simultaneous control of the operator norm risk of the estimators and a metric distortion associated to the corresponding eigenfunctions. Our analysis indicates that both algorithms have similar variance, but EDMD suffers from a larger bias which might be detrimental to its learning rate. We further argue that a large metric distortion may lead to spurious eigenvalues, a phenomenon which has been empirically observed, and note that metric distortion can be estimated from data. Numerical experiments complement the theoretical findings. | 翻訳日:2023-02-07 20:51:42 公開日:2023-02-03 |
| # QContext: 量子ゲートのコンテキスト対応分解 QContext: Context-Aware Decomposition for Quantum Gates ( http://arxiv.org/abs/2302.02003v1 ) ライセンス: Link先を確認 | Ji Liu, Max Bowman, Pranav Gokhale, Siddharth Dangwal, Jeffrey Larson, Frederic T. Chong, and Paul D. Hovland | (参考訳) 本稿では、文脈認識と位相認識の分解を組み込んだ新しいコンパイラ構造であるQContextを提案する。
回路同値規則と再合成のため、ゲート分解テンプレートの変種が存在する可能性がある。
QContextは回路情報とハードウェアトポロジを利用して、回路最適化の機会を増やすゲート変種を選択する。
toffoliゲートの基底ゲートレベルコンテキストアウェア分解とcnotゲートのネイティブゲートレベルコンテキストアウェア分解について検討した。
実験の結果,QContextは最先端のアプローチであるOrchestted Triosと比較してゲート数を減少させることがわかった。 In this paper we propose QContext, a new compiler structure that incorporates context-aware and topology-aware decompositions. Because of circuit equivalence rules and resynthesis, variants of a gate-decomposition template may exist. QContext exploits the circuit information and the hardware topology to select the gate variant that increases circuit optimization opportunities. We study the basis-gate-level context-aware decomposition for Toffoli gates and the native-gate-level context-aware decomposition for CNOT gates. Our experiments show that QContext reduces the number of gates as compared with the state-of-the-art approach, Orchestrated Trios. | 翻訳日:2023-02-07 20:51:22 公開日:2023-02-03 |
| # ソフトウェア分析のための半教師あり学習における強いヒューリスティックスの価値について Less, but Stronger: On the Value of Strong Heuristics in Semi-supervised Learning for Software Analytics ( http://arxiv.org/abs/2302.01997v1 ) ライセンス: Link先を確認 | Huy Tu and Tim Menzies | (参考訳) 例えば、私たちは数百万行のソースコードにアクセスできますが、そのコードに関してほんの数行の警告しかアクセスできません。
これらのドメインでは、半教師付き学習者(SSL)は、少数のサンプルから他のデータへのラベルの外挿を行うことができる。
標準SSLアルゴリズムは、(例えば)2人の学習者を協調訓練し、一方から良いラベルを使って他方を訓練するなど、`weak'の知識(すなわち、特定のSE知識に基づいていないもの)を使用する。
ソフトウェア分析におけるSSLのもうひとつのアプローチは、SE知識を使用する‘strong’の知識を使用することだ。
例えば、SEにおけるしばしば使われるヒューリスティックは、異常に大きなアーティファクトが望ましくない性質(例えば、より多くのバグ)を含んでいることである。
本稿では,このような 'strong'' アルゴリズムは,標準的,弱いssl アルゴリズムよりも優れた性能を示す。
我々は、弱いSSLまたは我々の ``stronger'' の FRUGAL アルゴリズムを用いて生成されたラベルからモデルを学習することでこれを示す。
4つのドメイン(セキュリティ関連のバグレポートの識別、意思決定のバイアスの軽減、問題のクローズタイムの予測、および静的コード警告の誤報の低減)において、FRUGALは、いくつかのドメインに依存しないグラフ理論の概念に依存する、パフォーマンスが良くない標準的な半教師付き学習者に対してわずか2.5%のデータをラベル付けする必要があった。
したがって、将来の作業では、seアプリケーションのための半教師付き学習に強いヒューリスティックの使用を強く推奨します。
他の研究者を支援するため、我々のスクリプトとデータはhttps://github.com/HuyTu7/FRUGAL.comでオンライン公開されている。 In many domains, there are many examples and far fewer labels for those examples; e.g. we may have access to millions of lines of source code, but access to only a handful of warnings about that code. In those domains, semi-supervised learners (SSL) can extrapolate labels from a small number of examples to the rest of the data. Standard SSL algorithms use ``weak'' knowledge (i.e. those not based on specific SE knowledge) such as (e.g.) co-train two learners and use good labels from one to train the other. Another approach of SSL in software analytics is potentially use ``strong'' knowledge that use SE knowledge. For example, an often-used heuristic in SE is that unusually large artifacts contain undesired properties (e.g. more bugs). This paper argues that such ``strong'' algorithms perform better than those standard, weaker, SSL algorithms. We show this by learning models from labels generated using weak SSL or our ``stronger'' FRUGAL algorithm. In four domains (distinguishing security-related bug reports; mitigating bias in decision-making; predicting issue close time; and (reducing false alarms in static code warnings), FRUGAL required only 2.5% of the data to be labeled yet out-performed standard semi-supervised learners that relied on (e.g.) some domain-independent graph theory concepts. Hence, for future work, we strongly recommend the use of strong heuristics for semi-supervised learning for SE applications. To better support other researchers, our scripts and data are on-line at https://github.com/HuyTu7/FRUGAL. | 翻訳日:2023-02-07 20:51:12 公開日:2023-02-03 |
| # ディープラーニングによる視覚タスクをUAVから5G Edgeサーバにオフロードする Offloading Deep Learning Powered Vision Tasks from UAV to 5G Edge Server with Denoising ( http://arxiv.org/abs/2302.01991v1 ) ライセンス: Link先を確認 | Sedat Ozer, Enes Ilhan, Mehmet Akif Ozkanoglu, Hakan Ali Cirpan | (参考訳) 無人航空機(UAV)から遠隔サーバに計算上重いタスクをオフロードすることは、バッテリー寿命の改善に役立ち、リソースの要求を減らすのに役立つ。
ディープラーニングに基づく物体分割や物体検出のような最先端のコンピュータビジョンタスクは計算的に重いアルゴリズムであり、大きなメモリと計算能力を必要とする。
多くのUAVは、そのようなアルゴリズムの既定バージョンを使っている。
このようなパワーハングリーアルゴリズムをリモートサーバにオフロードすることは、UAVの省電力に役立つだろう。
しかし、深層学習に基づくアルゴリズムはノイズの影響を受けやすく、無線通信システムは、その性質上、元の信号にノイズをもたらす。
信号が画像を表すとき、ノイズは画像に影響する。
事前訓練したディープネットワークにおける通信システムによるノイズの影響についての研究はあまり行われていない。
本稿では,まず,5g無線通信システムの各種パラメータが送信画像に与える影響に着目して,ディープラーニングベースのコンピュータビジョンタスク(オブジェクト分割と検出の両方を含む)をオフロードする信頼性を解析し,使用中の5g無線通信システムの導入ノイズが,オフロードされたディープラーニングタスクの性能をいかに低下させるかを実証する。
次に、ノイズの負の効果をなくす(または減らす)ために解を導入する。
提案するフレームワークは,まず代替手法として多くの古典的手法を導入し,次に与えられた雑音の入力画像を識別する新しいディープラーニングベースのソリューションを導入する。
オブジェクトセグメンテーションとオブジェクト検出タスクの両方をオフロードする各種デノジングアルゴリズムの性能を比較した。
提案する深層変圧器を用いたデノイザーアルゴリズム (nr-net) は, 実験におけるノイズの悪影響を低減した。 Offloading computationally heavy tasks from an unmanned aerial vehicle (UAV) to a remote server helps improve the battery life and can help reduce resource requirements. Deep learning based state-of-the-art computer vision tasks, such as object segmentation and object detection, are computationally heavy algorithms, requiring large memory and computing power. Many UAVs are using (pretrained) off-the-shelf versions of such algorithms. Offloading such power-hungry algorithms to a remote server could help UAVs save power significantly. However, deep learning based algorithms are susceptible to noise, and a wireless communication system, by its nature, introduces noise to the original signal. When the signal represents an image, noise affects the image. There has not been much work studying the effect of the noise introduced by the communication system on pretrained deep networks. In this work, we first analyze how reliable it is to offload deep learning based computer vision tasks (including both object segmentation and detection) by focusing on the effect of various parameters of a 5G wireless communication system on the transmitted image and demonstrate how the introduced noise of the used 5G wireless communication system reduces the performance of the offloaded deep learning task. Then solutions are introduced to eliminate (or reduce) the negative effect of the noise. The proposed framework starts with introducing many classical techniques as alternative solutions first, and then introduces a novel deep learning based solution to denoise the given noisy input image. The performance of various denoising algorithms on offloading both object segmentation and object detection tasks are compared. Our proposed deep transformer-based denoiser algorithm (NR-Net) yields the state-of-the-art results on reducing the negative effect of the noise in our experiments. | 翻訳日:2023-02-07 20:50:40 公開日:2023-02-03 |
| # 因果発見と根本原因定位のための階層型グラフニューラルネットワーク Hierarchical Graph Neural Networks for Causal Discovery and Root Cause Localization ( http://arxiv.org/abs/2302.01987v1 ) ライセンス: Link先を確認 | Dongjie Wang, Zhengzhang Chen, Jingchao Ni, Liang Tong, Zheng Wang, Yanjie Fu, Haifeng Chen | (参考訳) 本稿では,根本原因ローカライゼーションのためのレベル内(ネットワーク内)とレベル間(ネットワーク間)の因果関係の自動発見を可能にする新しいフレームワークREASONを提案する。
REASONはTopological Causal DiscoveryとPersonal Causal Discoveryで構成されている。
Topological Causal Discoveryコンポーネントは、根本原因を辿るために断層伝播をモデル化することを目的としている。
これを実現するために,階層型グラフニューラルネットワークを提案し,階層内および階層内非線形因果関係をモデル化して相互依存因果関係を構築する。
学習した相互依存因果ネットワークに基づいて,システム障害のネットワーク伝播をモデル化するために,ランダムウォークと再起動を活用する。
個々の因果発見コンポーネントは、単一のシステムエンティティの突然の変更パターンのキャプチャに焦点を当てている。
このコンポーネントは、各エンティティのメトリックデータ(例えば時系列)の時間パターンを調べ、極値理論に基づいて根本原因になる可能性を推定する。
トポロジカルスコアと個々の因果スコアを組み合わせることで、トップK系実体は根本原因として同定される。
ケーススタディを用いた実世界の3つのデータセットに対する大規模な実験は、提案フレームワークの有効性と優位性を示している。 In this paper, we propose REASON, a novel framework that enables the automatic discovery of both intra-level (i.e., within-network) and inter-level (i.e., across-network) causal relationships for root cause localization. REASON consists of Topological Causal Discovery and Individual Causal Discovery. The Topological Causal Discovery component aims to model the fault propagation in order to trace back to the root causes. To achieve this, we propose novel hierarchical graph neural networks to construct interdependent causal networks by modeling both intra-level and inter-level non-linear causal relations. Based on the learned interdependent causal networks, we then leverage random walks with restarts to model the network propagation of a system fault. The Individual Causal Discovery component focuses on capturing abrupt change patterns of a single system entity. This component examines the temporal patterns of each entity's metric data (i.e., time series), and estimates its likelihood of being a root cause based on the Extreme Value theory. Combining the topological and individual causal scores, the top K system entities are identified as root causes. Extensive experiments on three real-world datasets with case studies demonstrate the effectiveness and superiority of the proposed framework. | 翻訳日:2023-02-07 20:50:10 公開日:2023-02-03 |
| # 1次元凸殻実現可能性問題に対する漸近的最適アルゴリズム An Asymptotically Optimal Algorithm for the One-Dimensional Convex Hull Feasibility Problem ( http://arxiv.org/abs/2302.02033v1 ) ライセンス: Link先を確認 | Gang Qiao, Ambuj Tewari | (参考訳) 本研究は、与えられた点が有限集合の分布の手段の凸包内にあるかどうかを効率的かつ正確に決定することを目的とした凸包実現可能性(chf)問題の純粋展開設定について研究する。
我々は,一次元設定における chf 問題のサンプル複雑性の完全な特徴付けを行う。
我々はThompson-CHFと呼ばれる漸近的に最適なアルゴリズムを提案し、そのモジュラー設計は停止規則とサンプリング規則から構成される。
さらに,多腕バンディット文学におけるいくつかの重要な問題を一般化するアルゴリズムの拡張を提案する。
最後に、未知のばらつきを持つガウス帯域幅の場合についてさらに検討し、トンプソン-CHFアルゴリズムを漸近的に最適に調整する方法について述べる。 This work studies the pure-exploration setting for the convex hull feasibility (CHF) problem where one aims to efficiently and accurately determine if a given point lies in the convex hull of means of a finite set of distributions. We give a complete characterization of the sample complexity of the CHF problem in the one-dimensional setting. We present the first asymptotically optimal algorithm called Thompson-CHF, whose modular design consists of a stopping rule and a sampling rule. In addition, we provide an extension of the algorithm that generalizes several important problems in the multi-armed bandit literature. Finally, we further investigate the Gaussian bandit case with unknown variances and address how the Thompson-CHF algorithm can be adjusted to be asymptotically optimal in this setting. | 翻訳日:2023-02-07 20:42:45 公開日:2023-02-03 |
| # 機械学習によるルールベースのdns検閲検出の強化 Augmenting Rule-based DNS Censorship Detection at Scale with Machine Learning ( http://arxiv.org/abs/2302.02031v1 ) ライセンス: Link先を確認 | Jacob Alexander Markson Brown, Xi Jiang, Van Tran, Arjun Nitin Bhagoji, Nguyen Phong Hoang, Nick Feamster, Prateek Mittal, Vinod Yegneswaran | (参考訳) グローバルな検閲の拡散は、それを監視し公開するための多数の測定プラットフォームの開発につながった。
ドメイン名システム(DNS)の検閲は、異なる国で使用される重要なメカニズムである。
現在、特定の宛先に対するDNSクエリとレスポンス(プローブ)のサンプルにヒューリスティックスを適用することで検出されている。
しかし、これらのヒューリスティックはいずれもプラットフォーム固有のものであり、検閲が妨害行動を変えると脆弱であることが判明し、検閲を検出するためのより信頼性の高い自動化プロセスが必要になる。
本稿では,機械学習(ML)モデルが,(1)検出プロセスの合理化,(2)検閲検出のための大規模データセットのユーザビリティの向上,(3)既存のヒューリスティック手法で欠落した検閲インスタンスの発見,および署名のブロックを支援する方法について検討する。
本研究は、既知の異常や検閲の可能性について、専門家由来のラベルを用いて訓練された教師付きモデルを用いて、異なる測定プラットフォームで使用される検出ヒューリスティックを学習できることを示唆する。
さらに重要なことは、検閲されていないインスタンスのみにトレーニングされた教師なしモデルは、既存のヒューリスティックスが見逃した新しいインスタンスと検閲のバリエーションを識別できるということです。
さらに、これらの手法は、既存のヒューリスティックによって見落とされた偽のIPアドレスを注入する、相当数の新しいDNSブロッキングシグネチャを明らかにする能力を示す。
これらの結果は、同じプローブを用いて訓練されたモデルの出力を比較するが、独立したプロセスから生じるラベルは、検閲の基幹的厳密なラベルがない場合に、より確実に検閲の事例を検出することができる。 The proliferation of global censorship has led to the development of a plethora of measurement platforms to monitor and expose it. Censorship of the domain name system (DNS) is a key mechanism used across different countries. It is currently detected by applying heuristics to samples of DNS queries and responses (probes) for specific destinations. These heuristics, however, are both platform-specific and have been found to be brittle when censors change their blocking behavior, necessitating a more reliable automated process for detecting censorship. In this paper, we explore how machine learning (ML) models can (1) help streamline the detection process, (2) improve the usability of large-scale datasets for censorship detection, and (3) discover new censorship instances and blocking signatures missed by existing heuristic methods. Our study shows that supervised models, trained using expert-derived labels on instances of known anomalies and possible censorship, can learn the detection heuristics employed by different measurement platforms. More crucially, we find that unsupervised models, trained solely on uncensored instances, can identify new instances and variations of censorship missed by existing heuristics. Moreover, both methods demonstrate the capability to uncover a substantial number of new DNS blocking signatures, i.e., injected fake IP addresses overlooked by existing heuristics. These results are underpinned by an important methodological finding: comparing the outputs of models trained using the same probes but with labels arising from independent processes allows us to more reliably detect cases of censorship in the absence of ground-truth labels of censorship. | 翻訳日:2023-02-07 20:42:21 公開日:2023-02-03 |
| # 夜空の深層生成の先駆者による学習 Learning the Night Sky with Deep Generative Priors ( http://arxiv.org/abs/2302.02030v1 ) ライセンス: Link先を確認 | Fausto Navarro, Daniel Hall, Tamas Budavari, Yashil Sukurdeep | (参考訳) デコンボリューション(deconvolution)と呼ばれるぼやけた観察からよりシャープな画像を復元することは、古典的なアプローチがしばしば不十分な結果を生み出す不適切な問題である。
地上天文学では、複数の露光を組み合わせて高信号対雑音比の画像を達成することは、大気効果による露光における点拡散関数の変化によって複雑になる。
本研究では, 深部生成前処理に触発された画像の識別, 分解, 付加のための教師なしマルチフレーム手法を開発した。
複数の観測からの情報を結合し、これらの観測に対する共同可能性を定式化し、シャープで復元された画像におけるピクセル値の非ネガティビティのような望ましい制約を課す、注意深く選択された畳み込みニューラルネットワークアーキテクチャを使用する。
ルービン天文台に目を向け、4kハイパーsuprime-cam露光による4k分析を行い、有望な復元画像と抽出されたソースリストを得る予備結果を得た。 Recovering sharper images from blurred observations, referred to as deconvolution, is an ill-posed problem where classical approaches often produce unsatisfactory results. In ground-based astronomy, combining multiple exposures to achieve images with higher signal-to-noise ratios is complicated by the variation of point-spread functions across exposures due to atmospheric effects. We develop an unsupervised multi-frame method for denoising, deblurring, and coadding images inspired by deep generative priors. We use a carefully chosen convolutional neural network architecture that combines information from multiple observations, regularizes the joint likelihood over these observations, and allows us to impose desired constraints, such as non-negativity of pixel values in the sharp, restored image. With an eye towards the Rubin Observatory, we analyze 4K by 4K Hyper Suprime-Cam exposures and obtain preliminary results which yield promising restored images and extracted source lists. | 翻訳日:2023-02-07 20:41:55 公開日:2023-02-03 |
| # 文脈内学習を用いたモラルフレームのFew-Shot識別に向けて Towards Few-Shot Identification of Morality Frames using In-Context Learning ( http://arxiv.org/abs/2302.02029v1 ) ライセンス: Link先を確認 | Shamik Roy, Nishanth Sridhar Nakshatri and Dan Goldwasser | (参考訳) データ不足はnlpでは一般的な問題であり、特に専門知識を必要とするニュアンス的社会言語概念に関連する場合である。
結果として、これらの概念の少ない識別が望ましい。
事前学習されたLarge Language Models (LLMs) を用いた文脈内学習は、最近、多くのNLPタスクで成功した。
本稿では,LLMを用いて,心理言語学の概念である道徳フレーム(Roy et al., 2021)を数発同定する。
道徳的枠組みは、テキストで表される道徳的感情の全体観を提供し、関連する道徳的基盤を特定し(Haidt and Graham, 2007)、より細かい粒度で、テキストで言及された実体に表される道徳的感情を表現するための枠組みである。
これまでの研究は、コストのかかるテキストの道徳的枠組みを特定するために人間のアノテーションに頼っていた。
本稿では,事前訓練された大規模言語モデルを用いた道徳的枠組みの同定手法を提案する。
モデルの性能を数ショットのRoBERTaと比較し、有望な結果を得た。 Data scarcity is a common problem in NLP, especially when the annotation pertains to nuanced socio-linguistic concepts that require specialized knowledge. As a result, few-shot identification of these concepts is desirable. Few-shot in-context learning using pre-trained Large Language Models (LLMs) has been recently applied successfully in many NLP tasks. In this paper, we study few-shot identification of a psycho-linguistic concept, Morality Frames (Roy et al., 2021), using LLMs. Morality frames are a representation framework that provides a holistic view of the moral sentiment expressed in text, identifying the relevant moral foundation (Haidt and Graham, 2007) and at a finer level of granularity, the moral sentiment expressed towards the entities mentioned in the text. Previous studies relied on human annotation to identify morality frames in text which is expensive. In this paper, we propose prompting-based approaches using pretrained Large Language Models for identification of morality frames, relying only on few-shot exemplars. We compare our models' performance with few-shot RoBERTa and found promising results. | 翻訳日:2023-02-07 20:41:38 公開日:2023-02-03 |
| # 無線アクセスネットワークにおける変更検出のための自己監督型トランスアーキテクチャ Self-Supervised Transformer Architecture for Change Detection in Radio Access Networks ( http://arxiv.org/abs/2302.02025v1 ) ライセンス: Link先を確認 | Igor Kozlov, Dmitriy Rivkin, Wei-Di Chang, Di Wu, Xue Liu, Gregory Dudek | (参考訳) 通信用無線アクセスネットワーク(RAN)は、数十万の送信デバイス(セル)で構成される相互接続ハードウェアの大規模な集合体である。
このようなネットワークは、最適性能のためにシステムパラメータを調整しようとするネットワークオペレーターによって引き起こされる頻繁で不均一な変更を受けます。
このような変更の効果は予測が難しく、5G/6Gネットワークの採用によってさらに大きくなるだろう。
したがって、RANモニタリングはネットワークオペレーターにとって不可欠である。
本稿では,本課題に自己意識と自己蒸留を活用する自己教師型学習フレームワークを提案する。
セルレベルでのネットワーク性能の多様な測定セットを反映した時間変化メトリクスのコレクションである、パフォーマンス測定データの変化を検出することで機能する。
実験の結果,我々のアプローチは,約10万の時系列からなる実世界のデータセット上で,芸術の状態を4%上回っていることがわかった。
また、スケーラブルで一般化できるというメリットもある。
これにより、専門家の知識を最小限に頼りながら、オペレーション変更のモードの仕様に関する深い洞察を提供することができる。 Radio Access Networks (RANs) for telecommunications represent large agglomerations of interconnected hardware consisting of hundreds of thousands of transmitting devices (cells). Such networks undergo frequent and often heterogeneous changes caused by network operators, who are seeking to tune their system parameters for optimal performance. The effects of such changes are challenging to predict and will become even more so with the adoption of 5G/6G networks. Therefore, RAN monitoring is vital for network operators. We propose a self-supervised learning framework that leverages self-attention and self-distillation for this task. It works by detecting changes in Performance Measurement data, a collection of time-varying metrics which reflect a set of diverse measurements of the network performance at the cell level. Experimental results show that our approach outperforms the state of the art by 4% on a real-world based dataset consisting of about hundred thousands timeseries. It also has the merits of being scalable and generalizable. This allows it to provide deep insight into the specifics of mode of operation changes while relying minimally on expert knowledge. | 翻訳日:2023-02-07 20:41:18 公開日:2023-02-03 |
| # TextShield: テキスト分類における対立文の検出に成功 TextShield: Beyond Successfully Detecting Adversarial Sentences in Text Classification ( http://arxiv.org/abs/2302.02023v1 ) ライセンス: Link先を確認 | Lingfeng Shen, Ze Zhang, Haiyun Jiang, Ying Chen | (参考訳) 敵の攻撃は、安全クリティカルなアプリケーションにおけるモデルの展開を妨げるnlpのニューラルネットワークモデルにとって大きな課題となる。
検出に基づく最近の研究は、敵対的文と良性文を区別することを目的としている。
しかし、[従来の検出方法の核となる制限は、他のパラダイムの防御方法とは異なり、敵文に正しい予測を与えることができない。
そこで本稿では,(1)テキストアタックとサリエンシー情報の関係を発見し,その文が逆であるか否かを効果的に検出できるサリエンシーに基づく検出器を提案する。
2) 検出された逆文を良性文に変換する, サリエンシーに基づく補正器を設計する。
精度に基づく検出器と修正器を組み合わせることで、TextShieldは検出専用パラダイムを検出補正パラダイムに拡張し、既存の検出ベース防御のギャップを埋める。
総合的な実験は
(a) TextShieldは、さまざまなベンチマークに対する様々な攻撃に対して、最先端の防御メソッドよりも高い、あるいは同等のパフォーマンスを一貫して達成します。
b) サリエンシに基づく検出器は, 対訳文を検出する既存の検出器よりも優れていた。 Adversarial attack serves as a major challenge for neural network models in NLP, which precludes the model's deployment in safety-critical applications. A recent line of work, detection-based defense, aims to distinguish adversarial sentences from benign ones. However, {the core limitation of previous detection methods is being incapable of giving correct predictions on adversarial sentences unlike defense methods from other paradigms.} To solve this issue, this paper proposes TextShield: (1) we discover a link between text attack and saliency information, and then we propose a saliency-based detector, which can effectively detect whether an input sentence is adversarial or not. (2) We design a saliency-based corrector, which converts the detected adversary sentences to benign ones. By combining the saliency-based detector and corrector, TextShield extends the detection-only paradigm to a detection-correction paradigm, thus filling the gap in the existing detection-based defense. Comprehensive experiments show that (a) TextShield consistently achieves higher or comparable performance than state-of-the-art defense methods across various attacks on different benchmarks. (b) our saliency-based detector outperforms existing detectors for detecting adversarial sentences. | 翻訳日:2023-02-07 20:41:05 公開日:2023-02-03 |
| # 単語相互作用グラフ層による解釈性の向上 Improving Interpretability via Explicit Word Interaction Graph Layer ( http://arxiv.org/abs/2302.02016v1 ) ライセンス: Link先を確認 | Arshdeep Sekhon, Hanjie Chen, Aman Shrivastava, Zhe Wang, Yangfeng Ji, Yanjun Qi | (参考訳) 最近のNLP文献は、モデル解釈可能性の改善への関心が高まっている。
この方向に沿って、トレーニング可能なニューラルネットワーク層を提案し、単語間のグローバルな相互作用グラフを学習し、学習した単語の相互作用を用いてより情報的な単語を選択する。
私たちのレイヤはWIGRAPHと呼ばれ、ワード埋め込みレイヤーの直後にニューラルネットワークベースのNLPテキスト分類器をプラグインできます。
複数のSOTA NLPモデルと様々なNLPデータセット間で、WIGRAPH層の追加はNLPモデルの解釈可能性を大幅に改善し、同時にモデルの予測性能を向上することを示した。 Recent NLP literature has seen growing interest in improving model interpretability. Along this direction, we propose a trainable neural network layer that learns a global interaction graph between words and then selects more informative words using the learned word interactions. Our layer, we call WIGRAPH, can plug into any neural network-based NLP text classifiers right after its word embedding layer. Across multiple SOTA NLP models and various NLP datasets, we demonstrate that adding the WIGRAPH layer substantially improves NLP models' interpretability and enhances models' prediction performance at the same time. | 翻訳日:2023-02-07 20:40:46 公開日:2023-02-03 |
| # 経済深層学習モデルを用いたIoTボットネットの検出 IoT Botnet Detection Using an Economic Deep Learning Model ( http://arxiv.org/abs/2302.02013v1 ) ライセンス: Link先を確認 | Nelly Elsayed, Zag ElSayed, Magdy Bayoumi | (参考訳) 技術の革新と流通の急速な進歩は、この10年間で増加している。
世界中のIoT(Internet of Things)システムの急速な成長は、悪意のあるサードパーティが生み出したネットワークセキュリティ上の課題を増大させている。
したがって、セキュリティ上の懸念やIoTシステムの制限を考慮に入れた、信頼性の高い侵入検知とネットワークフォサイシクスシステムは、そのようなシステムを保護する上で不可欠である。
IoTボットネット攻撃は企業や個人にとって重要な脅威のひとつだ。
そこで本稿では,IoTボットネット攻撃を検知する経済的深層学習モデルを提案する。
提案手法は, 実装予算を小さくし, 訓練および検出プロセスを高速化することで, 最先端検出モデルよりも高い精度を達成した。 The rapid progress in technology innovation usage and distribution has increased in the last decade. The rapid growth of the Internet of Things (IoT) systems worldwide has increased network security challenges created by malicious third parties. Thus, reliable intrusion detection and network forensics systems that consider security concerns and IoT systems limitations are essential to protect such systems. IoT botnet attacks are one of the significant threats to enterprises and individuals. Thus, this paper proposed an economic deep learning-based model for detecting IoT botnet attacks along with different types of attacks. The proposed model achieved higher accuracy than the state-of-the-art detection models using a smaller implementation budget and accelerating the training and detecting processes. | 翻訳日:2023-02-07 20:40:36 公開日:2023-02-03 |
| # 受動型ビデオによるゼロショットロボット操作 Zero-Shot Robot Manipulation from Passive Human Videos ( http://arxiv.org/abs/2302.02011v1 ) ライセンス: Link先を確認 | Homanga Bharadhwaj, Abhinav Gupta, Shubham Tulsiani, Vikash Kumar | (参考訳) ロボットの操作を日々のタスクで学べるのは、人間のビデオを見るだけでよいのか?
タスク固有の行動の学習や人間の映像の直接模倣とは違い,人間の映像からエージェントに依存しない行動表現を抽出し,展開中のエージェントの実施形態にマッピングする枠組みを開発する。
本フレームワークは,シーンの初期像から可視的手指軌跡を推定する手法である。
この予測モデルをインターネットからさまざまな人間のビデオでトレーニングした後、ロボットの実施形態に適切な変換を行った後、トレーニング済みのゼロショットモデルを物理ロボット操作タスクにデプロイする。
このシンプルな戦略は、引き出しの開閉、押し出し、ツールの使用といった粗い操作タスクを、ドメイン内のロボット操作トラジェクタにアクセスせずに解決できます。
我々の実世界の展開結果は、人間の活動の多様な任意ビデオから得られる行動予測情報の強力なベースラインを確立し、目に見えないシーンにおけるゼロショットロボット操作に有用である。 Can we learn robot manipulation for everyday tasks, only by watching videos of humans doing arbitrary tasks in different unstructured settings? Unlike widely adopted strategies of learning task-specific behaviors or direct imitation of a human video, we develop a a framework for extracting agent-agnostic action representations from human videos, and then map it to the agent's embodiment during deployment. Our framework is based on predicting plausible human hand trajectories given an initial image of a scene. After training this prediction model on a diverse set of human videos from the internet, we deploy the trained model zero-shot for physical robot manipulation tasks, after appropriate transformations to the robot's embodiment. This simple strategy lets us solve coarse manipulation tasks like opening and closing drawers, pushing, and tool use, without access to any in-domain robot manipulation trajectories. Our real-world deployment results establish a strong baseline for action prediction information that can be acquired from diverse arbitrary videos of human activities, and be useful for zero-shot robotic manipulation in unseen scenes. | 翻訳日:2023-02-07 20:40:25 公開日:2023-02-03 |
| # ハイブリッドニューラルネットワークによるRedditユーザの抑うつ検出 Detecting Reddit Users with Depression Using a Hybrid Neural Network ( http://arxiv.org/abs/2302.02759v1 ) ライセンス: Link先を確認 | Ziyi Chen, Ren Yang, Sunyang Fu, Nansu Zong, Hongfang Liu, Ming Huang | (参考訳) うつ病は広範な精神疾患であり、世界の人口の3.8%に影響を与えている。
また、世界中の障害に対する主要な貢献者の一人でもある。
近年、個人がソーシャルメディアプラットフォーム(Redditなど)を使って困難や健康上の問題(うつ病など)を表現し、オンラインコミュニティの他のユーザーからの支持を求めることが人気になっている。
何百万もの投稿を解析して、うつ病のあるソーシャルメディアユーザーを自動的に特定する絶好の機会だ。
ディープラーニングの手法が機械学習や自然言語処理(NLP)の分野で優位になってきたのは、その使いやすさ、効率的な処理、そして多くのNLPタスクにおける最先端の結果からである。
本研究では,事前訓練された文BERT(SBERT)と畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドディープラーニングモデルを提案する。
BERTという文は、各ポストで意味のある意味情報の表現を学ぶために使われる。
cnnは、埋め込みのさらなる変換とユーザーの行動パターンの時間的識別を可能にする。
自己報告型メンタルヘルス診断(SMHD)データを用いて、Redditユーザをうつ病で識別するためのモデルパフォーマンスを訓練・評価した。
ハイブリッドディープラーニングモデルは精度0.86とF1スコア0.86を達成し、文献における他の機械学習モデルによる最先端の文書化結果(F1スコア0.79)を上回った。
その結果,うつ病患者を識別するハイブリッドモデルの実現可能性を示した。
ハイブリッドモデルはReddit投稿による抑うつを検知するために検証されているが、他のテキスト分類タスクや異なる臨床応用に簡単に調整および適用することができる。 Depression is a widespread mental health issue, affecting an estimated 3.8% of the global population. It is also one of the main contributors to disability worldwide. Recently it is becoming popular for individuals to use social media platforms (e.g., Reddit) to express their difficulties and health issues (e.g., depression) and seek support from other users in online communities. It opens great opportunities to automatically identify social media users with depression by parsing millions of posts for potential interventions. Deep learning methods have begun to dominate in the field of machine learning and natural language processing (NLP) because of their ease of use, efficient processing, and state-of-the-art results on many NLP tasks. In this work, we propose a hybrid deep learning model which combines a pretrained sentence BERT (SBERT) and convolutional neural network (CNN) to detect individuals with depression with their Reddit posts. The sentence BERT is used to learn the meaningful representation of semantic information in each post. CNN enables the further transformation of those embeddings and the temporal identification of behavioral patterns of users. We trained and evaluated the model performance to identify Reddit users with depression by utilizing the Self-reported Mental Health Diagnoses (SMHD) data. The hybrid deep learning model achieved an accuracy of 0.86 and an F1 score of 0.86 and outperformed the state-of-the-art documented result (F1 score of 0.79) by other machine learning models in the literature. The results show the feasibility of the hybrid model to identify individuals with depression. Although the hybrid model is validated to detect depression with Reddit posts, it can be easily tuned and applied to other text classification tasks and different clinical applications. | 翻訳日:2023-02-07 16:36:51 公開日:2023-02-03 |
| # LaMPP: 知覚と行動の確率論的優先順位としての言語モデル LaMPP: Language Models as Probabilistic Priors for Perception and Action ( http://arxiv.org/abs/2302.02801v1 ) ライセンス: Link先を確認 | Belinda Z. Li, William Chen, Pratyusha Sharma, Jacob Andreas | (参考訳) 大規模テキストコーパスで訓練された言語モデルは、実環境やアクションシーケンスに関する豊富な分布情報をエンコードする。
この情報は、質問応答や命令生成といった言語処理タスクに対する現在のアプローチにおいて重要な役割を果たす。
非言語的な*知覚と制御タスクに言語モデルを活用する方法について説明する。
言語モデルがラベル,決定,パラメータ上の事前分布をパラメータ化し,不確定な観察と不完全な背景知識を原則的に統合する確率的グラフィカルモデルにおいて,ラベリングと意思決定を推論として位置づける。
セマンティックセグメンテーション、家庭内ナビゲーション、行動認識タスクに適用すると、この手法は稀、アウト・オブ・ディストリビューション、構造的に新しい入力の予測を改善する。 Language models trained on large text corpora encode rich distributional information about real-world environments and action sequences. This information plays a crucial role in current approaches to language processing tasks like question answering and instruction generation. We describe how to leverage language models for *non-linguistic* perception and control tasks. Our approach casts labeling and decision-making as inference in probabilistic graphical models in which language models parameterize prior distributions over labels, decisions and parameters, making it possible to integrate uncertain observations and incomplete background knowledge in a principled way. Applied to semantic segmentation, household navigation, and activity recognition tasks, this approach improves predictions on rare, out-of-distribution, and structurally novel inputs. | 翻訳日:2023-02-07 16:26:59 公開日:2023-02-03 |
| # 長い水平後退を伴う確率的文脈帯域 Stochastic Contextual Bandits with Long Horizon Rewards ( http://arxiv.org/abs/2302.00814v2 ) ライセンス: Link先を確認 | Yuzhen Qin, Yingcong Li, Fabio Pasqualetti, Maryam Fazel, Samet Oymak | (参考訳) 複雑な意思決定や言語モデリング問題への関心が高まる中、非常に長い地平線のサンプル効率の高い学習の重要性が浮き彫りになっている。
この研究は、現在の報酬が少なくとも$s$以前のアクションとコンテキスト(必ずしも連続ではない)に依存している文脈的線形包帯を$h$の時間的地平線まで調べることによって、この方向に一歩踏み出す。
h$ に対する多項式依存を避けるために,スパルシリティを活用し,従属パターンとアームパラメータを協調的に発見する新しいアルゴリズムを提案する。
data-poor(T<h$) と data-rich(T\ge h$) のレギュレーションの両方を検討し、それぞれの後悔の上限を $\tilde O(d\sqrt{sT} +\min\{ q, T\})$ と $\tilde O(\sqrt{sdT})$ と $\tilde O(\sqrt{sdT})$ で表す。
従属パターンとアームパラメータは rank-1 行列を形成するが、循環行列は rank-1 多様体よりも等尺的ではなく、サンプル複雑性はスパース報酬依存構造から恩恵を受ける。
以上の結果から,データ全体にわたる長期時間依存性に対する新たな解析が必要となり,報奨地平線上の多項式依存性を回避できた。
具体的には、依存準ガウスベクトルによって形成される循環行列の制限等尺性への接続を利用し、独立性を持つ新しい保証を確立する。 The growing interest in complex decision-making and language modeling problems highlights the importance of sample-efficient learning over very long horizons. This work takes a step in this direction by investigating contextual linear bandits where the current reward depends on at most $s$ prior actions and contexts (not necessarily consecutive), up to a time horizon of $h$. In order to avoid polynomial dependence on $h$, we propose new algorithms that leverage sparsity to discover the dependence pattern and arm parameters jointly. We consider both the data-poor ($T<h$) and data-rich ($T\ge h$) regimes, and derive respective regret upper bounds $\tilde O(d\sqrt{sT} +\min\{ q, T\})$ and $\tilde O(\sqrt{sdT})$, with sparsity $s$, feature dimension $d$, total time horizon $T$, and $q$ that is adaptive to the reward dependence pattern. Complementing upper bounds, we also show that learning over a single trajectory brings inherent challenges: While the dependence pattern and arm parameters form a rank-1 matrix, circulant matrices are not isometric over rank-1 manifolds and sample complexity indeed benefits from the sparse reward dependence structure. Our results necessitate a new analysis to address long-range temporal dependencies across data and avoid polynomial dependence on the reward horizon $h$. Specifically, we utilize connections to the restricted isometry property of circulant matrices formed by dependent sub-Gaussian vectors and establish new guarantees that are also of independent interest. | 翻訳日:2023-02-07 12:57:48 公開日:2023-02-03 |
| # 遅延フィードバックを用いた逐次決定のための削減型フレームワーク A Reduction-based Framework for Sequential Decision Making with Delayed Feedback ( http://arxiv.org/abs/2302.01477v1 ) ライセンス: Link先を確認 | Yunchang Yang, Han Zhong, Tianhao Wu, Bin Liu, Liwei Wang, Simon S. Du | (参考訳) バンディット,単一エージェントマルコフ決定プロセス (mdps), マルコフゲーム (mgs) を含むマルチエージェントシーケンシャル意思決定における確率的遅延フィードバックについて検討した。
本稿では, 逐次決定のためのマルチバッチアルゴリズムを, 短時間のフィードバックで, 逐次決定における確率的遅延を処理できるサンプル効率アルゴリズムに変換する, 新たなリダクションベースフレームワークを提案する。
我々のフレームワークに様々なマルチバッチアルゴリズムを組み込むことで、我々のフレームワークがバンドレート、表型MDP、表型MGの既存の結果にマッチまたは改善するだけでなく、関数近似による逐次決定の遅延に関する最初の研究ラインも提供する。
まとめると、遅延フィードバックを伴う複数エージェントのシーケンシャルな意思決定のための、鋭い結果の完全なセットを提供する。 We study stochastic delayed feedback in general multi-agent sequential decision making, which includes bandits, single-agent Markov decision processes (MDPs), and Markov games (MGs). We propose a novel reduction-based framework, which turns any multi-batched algorithm for sequential decision making with instantaneous feedback into a sample-efficient algorithm that can handle stochastic delays in sequential decision making. By plugging different multi-batched algorithms into our framework, we provide several examples demonstrating that our framework not only matches or improves existing results for bandits, tabular MDPs, and tabular MGs, but also provides the first line of studies on delays in sequential decision making with function approximation. In summary, we provide a complete set of sharp results for multi-agent sequential decision making with delayed feedback. | 翻訳日:2023-02-06 17:59:46 公開日:2023-02-03 |
| # Defensive ML: 対向難読化によるアーキテクチャサイドチャネルの防御 Defensive ML: Defending Architectural Side-channels with Adversarial Obfuscation ( http://arxiv.org/abs/2302.01474v1 ) ライセンス: Link先を確認 | Hyoungwook Nam, Raghavendra Pradyumna Pothukuchi, Bo Li, Nam Sung Kim, Josep Torrellas | (参考訳) 信号分析に機械学習(ML)を使用するサイドチャネル攻撃は、MLモデルが信号のパターンを容易に見つけるため、コンピュータセキュリティに対する顕著な脅威となっている。
この問題に対処するために,コンピュータアーキテクチャ層における防御手段としてAdversarial Machine Learning (AML) 法を用いて,サイドチャネルを難読化する手法を提案する。
私たちはこのアプローチをDefensive MLと呼び、ジェネレータは信号やディフェンダーを難読化する。
Defensive MLは、さまざまな環境でディフェンダを設計、実装、トレーニング、デプロイするためのワークフローである。
まず,サイドチャネルの物理的特性とハードウェア制約を考慮したディフェンダーアーキテクチャを設計する。
次に、DefenderGAN構造を使ってディフェンダーをトレーニングします。
最後に,2つのサイドチャネル攻撃(メモリ競合に基づく攻撃とアプリケーションパワーに基づく攻撃)を回避するために,防御mlを適用する。
前者はnsレベルの応答時間を持つハードウェアディフェンダーを使用し、従来のスキームの性能への影響の半分で高いレベルのセキュリティを達成する。 Side-channel attacks that use machine learning (ML) for signal analysis have become prominent threats to computer security, as ML models easily find patterns in signals. To address this problem, this paper explores using Adversarial Machine Learning (AML) methods as a defense at the computer architecture layer to obfuscate side channels. We call this approach Defensive ML, and the generator to obfuscate signals, defender. Defensive ML is a workflow to design, implement, train, and deploy defenders for different environments. First, we design a defender architecture given the physical characteristics and hardware constraints of the side-channel. Next, we use our DefenderGAN structure to train the defender. Finally, we apply defensive ML to thwart two side-channel attacks: one based on memory contention and the other on application power. The former uses a hardware defender with ns-level response time that attains a high level of security with half the performance impact of a traditional scheme; the latter uses a software defender with ms-level response time that provides better security than a traditional scheme with only 70% of its power overhead. | 翻訳日:2023-02-06 17:59:33 公開日:2023-02-03 |
| # 無線ネットワーク上のメタバースにおける仮想現実のためのユーザ中心不均一動作深層強化学習 User-centric Heterogeneous-action Deep Reinforcement Learning for Virtual Reality in the Metaverse over Wireless Networks ( http://arxiv.org/abs/2302.01471v1 ) ライセンス: Link先を確認 | Wenhan Yu, Terence Jie Chua, Jun Zhao | (参考訳) 成熟技術がさまざまな側面に力を与えている中、Metaverseは出現しつつある。
VR(Virtual Reality)技術は、Metaverse内の仮想宇宙のバックボーンとして機能し、没入感のあるユーザーエクスペリエンスを提供する。
モビリティがMetaverseの文脈で強調されるように、VRデバイスは局所的な計算能力を犠牲にして重量を減らす。
本稿では,Metaverseサーバと複数のVRユーザで構成されるシステムについて,二つの事例を考察する。
i) サーバがフレームを生成してユーザへ送信し、
(II) ローカルでフレームを生成し、デバイスエネルギーを消費する。
さらに、MetaverseのマルチユーザVRシナリオでは、ユーザはFPS(Frames Per Second)の異なる特性と要求を持っています。
そして、サーバからユーザへのダウンリンク通信のためのチャネルアクセスアレンジメント(フレーム生成位置の決定を含む)と送信パワーを共同で最適化し、ユーザのユーティリティを向上させる。
この共同最適化は、不均一な作用を持つ深部強化学習(DRL)によって解決される。
提案するユーザ中心型DRLアルゴリズムは,ユーザ中心型Critic with Heterogenous Actors (UCHA) と呼ばれる。
我々のUCHAアルゴリズムは様々な要件や制約の下で顕著な結果をもたらすことを示した。 The Metaverse is emerging as maturing technologies are empowering the different facets. Virtual Reality (VR) technologies serve as the backbone of the virtual universe within the Metaverse to offer a highly immersive user experience. As mobility is emphasized in the Metaverse context, VR devices reduce their weights at the sacrifice of local computation abilities. In this paper, for a system consisting of a Metaverse server and multiple VR users, we consider two cases of (i) the server generating frames and transmitting them to users, and (ii) users generating frames locally and thus consuming device energy. Moreover, in our multi-user VR scenario for the Metaverse, users have different characteristics and demands for Frames Per Second (FPS). Then the channel access arrangement (including the decisions on frame generation location), and transmission powers for the downlink communications from the server to the users are jointly optimized to improve the utilities of users. This joint optimization is addressed by deep reinforcement learning (DRL) with heterogeneous actions. Our proposed user-centric DRL algorithm is called User-centric Critic with Heterogenous Actors (UCHA). Extensive experiments demonstrate that our UCHA algorithm leads to remarkable results under various requirements and constraints. | 翻訳日:2023-02-06 17:59:15 公開日:2023-02-03 |
| # 強化学習のための学習 Learning to Optimize for Reinforcement Learning ( http://arxiv.org/abs/2302.01470v1 ) ライセンス: Link先を確認 | Qingfeng Lan, A. Rupam Mahmood, Shuicheng Yan, Zhongwen Xu | (参考訳) 近年、より多くのデータ、計算、多様なタスクを活用することで、学習オプティマイザは、従来の手設計オプティマイザを上回って、教師付き学習最適化において顕著な成功を収めている。
しかし、実際には、これらの学習オプティマイザは不安定で複雑な損失環境のため、強化学習タスクへの一般化に失敗する。
さらに、強化学習におけるユニークな最適化特性に対処するために、手設計のオプティマイザも学習オプティマイザも特に設計されていない。
本研究では,メタラーニングを用いた強化学習を最適化するために,データ駆動アプローチを採用する。
学習用最適化器の学習効率を大幅に向上させる新しい最適化器構造を導入し、スクラッチから強化学習のための最適化器を学習できるようにする。
おもちゃのタスクで訓練されていますが、学習したオプティマイザは複雑なタスクを認識できない一般化能力を示しています。
最後に,強化学習のための汎用オプティマイザを訓練するための,一連の小さなグリッドワールドを設計する。 In recent years, by leveraging more data, computation, and diverse tasks, learned optimizers have achieved remarkable success in supervised learning optimization, outperforming classical hand-designed optimizers. However, in practice, these learned optimizers fail to generalize to reinforcement learning tasks due to unstable and complex loss landscapes. Moreover, neither hand-designed optimizers nor learned optimizers have been specifically designed to address the unique optimization properties in reinforcement learning. In this work, we take a data-driven approach to learn to optimize for reinforcement learning using meta-learning. We introduce a novel optimizer structure that significantly improves the training efficiency of learned optimizers, making it possible to learn an optimizer for reinforcement learning from scratch. Although trained in toy tasks, our learned optimizer demonstrates its generalization ability to unseen complex tasks. Finally, we design a set of small gridworlds to train the first general-purpose optimizer for reinforcement learning. | 翻訳日:2023-02-06 17:58:57 公開日:2023-02-03 |
| # バイオアーキテクチャにおけるトリプトファンのメガネットワークからの紫外線超放射 Ultraviolet superradiance from mega-networks of tryptophan in biological architectures ( http://arxiv.org/abs/2302.01469v1 ) ライセンス: Link先を確認 | N. S. Babcock, G. Montes-Cabrera, K. E. Oberhofer, M. Chergui, G. L. Celardo, P. Kurian | (参考訳) トリプトファンのネットワークは、強い蛍光応答を持つ芳香族アミノ酸であり、生体内で広く存在し、膜貫通タンパク質、細胞骨格フィラメント、神経下要素、光受容体複合体、ウイルスカプシド、その他の細胞構造において多様な構造を形成する。
生体関連メガネットワークの紫外線(uv)励起による協調効果を解析し,細胞シグナル伝達と制御の新たなメカニズムについて考察した。
単一励起多様体における理論解析は、微小管構造における10^5ドルのトリプトファンuv励起遷移双極子を含む組織的配置間の集団的相互作用による強超ラジカル状態の形成を予測し、実験によって確認された蛍光量子収率の増大に繋がる。
この超ラジアント挙動が、飽和前の熱平衡で異なる幾何構造で増加する階層構造チューブリン構造に対する蛍光量子収率において観察された結果を示し、障害の存在下での効果の持続性を強調した。 Networks of tryptophan -- an aromatic amino acid with strong fluorescent response -- are ubiquitous in biological systems, forming diverse architectures in transmembrane proteins, cytoskeletal filaments, sub-neuronal elements, photoreceptor complexes, virion capsids, and other cellular structures. We analyze the cooperative effects induced by ultraviolet (UV) excitation of several biologically relevant tryptophan mega-networks, thus giving insight into novel mechanisms for cellular signalling and control. Our theoretical analysis in the single-excitation manifold predicts the formation of strongly superradiant states due to collective interactions among organized arrangements of up to more than $10^5$ tryptophan UV-excited transition dipoles in microtubule architectures, which leads to an enhancement of the fluorescence quantum yield that is confirmed by our experiments. We demonstrate the observed consequences of this superradiant behavior in the fluorescence quantum yield for hierarchically organized tubulin structures, which increases in different geometric regimes at thermal equilibrium before saturation -- highlighting the effect's persistence in the presence of disorder. | 翻訳日:2023-02-06 17:58:39 公開日:2023-02-03 |
| # 事前学習モデルを用いた領域リスク最小化のための勾配推定 Gradient Estimation for Unseen Domain Risk Minimization with Pre-Trained Models ( http://arxiv.org/abs/2302.01497v1 ) ライセンス: Link先を確認 | Byunggyu Lew, Donghyun Son, Buru Chang | (参考訳) ドメインの一般化は、モデル最適化のためにソースドメインのみが利用できる場合に、見えないドメインでうまく機能する一般化されたモデルを構築することを目的としています。
近年の研究では、大規模事前学習モデルがその一般化力を提供することで領域一般化において重要な役割を果たすことが示されている。
しかし, 大規模事前学習モデルでは, 事前学習対象と対象課題との差異から, 対象タスク固有の知識を十分に備えていない。
タスク固有の知識は微調整によってソースドメインから学べるが、ソースドメインに対する勾配バイアスのため、事前学習されたモデルの一般化能力は損なわれる。
この問題に対処するために, 大規模事前学習モデルを用いて, 観測不能な勾配を推定し, 潜在リスクを低減させる新しい領域一般化法を提案する。
提案手法により,事前学習したモデルは,その一般化能力と推定勾配を保ちながら,タスク固有の知識をさらに学習することができる。
実験の結果,提案手法はドメイン一般化の標準ベンチマークであるdomainbedのベースラインメソッドよりも優れていた。
また, 推定された非観測勾配が勾配バイアスを緩和し, 事前学習したモデルが一般化力を犠牲にすることなくタスク固有の知識を学習することを示す。 Domain generalization aims to build generalized models that perform well on unseen domains when only source domains are available for model optimization. Recent studies have demonstrated that large-scale pre-trained models could play an important role in domain generalization by providing their generalization power. However, large-scale pre-trained models are not fully equipped with target task-specific knowledge due to a discrepancy between the pre-training objective and the target task. Although the task-specific knowledge could be learned from source domains by fine-tuning, this hurts the generalization power of the pre-trained models because of gradient bias toward the source domains. To address this issue, we propose a new domain generalization method that estimates unobservable gradients that reduce potential risks in unseen domains, using a large-scale pre-trained model. Our proposed method allows the pre-trained model to learn task-specific knowledge further while preserving its generalization ability with the estimated gradients. Experimental results show that our proposed method outperforms baseline methods on DomainBed, a standard benchmark in domain generalization. We also provide extensive analyses to demonstrate that the estimated unobserved gradients relieve the gradient bias, and the pre-trained model learns the task-specific knowledge without sacrificing its generalization power. | 翻訳日:2023-02-06 17:51:12 公開日:2023-02-03 |
| # 音声基礎モデルの効率的なドメイン適応 Efficient Domain Adaptation for Speech Foundation Models ( http://arxiv.org/abs/2302.01496v1 ) ライセンス: Link先を確認 | Bo Li, Dongseong Hwang, Zhouyuan Huo, Junwen Bai, Guru Prakash, Tara N. Sainath, Khe Chai Sim, Yu Zhang, Wei Han, Trevor Strohman, Francoise Beaufays | (参考訳) 基盤モデル(fms)は大規模に幅広いデータに基づいて訓練され、下流の幅広いタスクに適応できるが、研究コミュニティに大きな関心を寄せている。
異なるモダリティ、言語、アプリケーションドメインなどの多様なデータソースの恩恵を受け、基礎モデルは強力な一般化と知識伝達能力を示している。
本稿では,FMに基づく音声認識システムのための効率的なソリューション構築に向けた先駆的な研究を提案する。
我々は,最近開発した自己教師付きベストrqを事前学習に採用し,just hydraを用いたソースと非教師なしのターゲット領域データとの協調微調整を提案する。
fmエンコーダアダプタとデコーダは、少量の監視されたドメイン内データでターゲットドメインに微調整される。
大規模youtubeおよび音声検索タスクにおいて,本手法はデータおよびモデルパラメータの効率が良いことを示す。
21.6Mのドメイン内データと130.8Mの微調整パラメータで同じ品質を達成し、さらに300Mのドメイン内データをスクラッチからトレーニングした731.1Mモデルと比較した。 Foundation models (FMs), that are trained on broad data at scale and are adaptable to a wide range of downstream tasks, have brought large interest in the research community. Benefiting from the diverse data sources such as different modalities, languages and application domains, foundation models have demonstrated strong generalization and knowledge transfer capabilities. In this paper, we present a pioneering study towards building an efficient solution for FM-based speech recognition systems. We adopt the recently developed self-supervised BEST-RQ for pretraining, and propose the joint finetuning with both source and unsupervised target domain data using JUST Hydra. The FM encoder adapter and decoder are then finetuned to the target domain with a small amount of supervised in-domain data. On a large-scale YouTube and Voice Search task, our method is shown to be both data and model parameter efficient. It achieves the same quality with only 21.6M supervised in-domain data and 130.8M finetuned parameters, compared to the 731.1M model trained from scratch on additional 300M supervised in-domain data. | 翻訳日:2023-02-06 17:50:52 公開日:2023-02-03 |
| # 量子周波数プロセッサの特性評価 Characterization of Quantum Frequency Processors ( http://arxiv.org/abs/2302.01495v1 ) ライセンス: Link先を確認 | Hsuan-Hao Lu, Nicholas A. Peters, Andrew M. Weiner, Joseph M. Lukens | (参考訳) 周波数ビン量子ビットは波長多重光波通信とユニークなシナジーを有しており、既存の光ファイバーインフラとの量子ネットワークの貴重な機会を示唆している。
周波数ビン状態のコヒーレントな操作は、高制御可能なマルチスペクトルモード干渉を必要とするが、量子周波数プロセッサ(QFP)は標準の通信部品を利用したゲート合成のためのスケーラブルな経路を提供する。
ここでは,実験的なQFP特性について概説する。
qfpをマルチポート干渉計として扱う物理的に動機付けられた'オープンボックス'アプローチと、qfpを一般的な量子演算と見なす'ブラックボックス'アプローチを区別し、波長可変ビームスプリッターの量子過程トモグラフィーを含む複数のテクニックの仮定と結果について、我々の知識に対して、あらゆる周波数-ビン操作の最初の全プロセストモグラフィーについて強調する。
qfpは、統合デバイスやデプロイされた量子ネットワーク実験への実証的なテーブルトップのデモンストレーションを超えて、ますます進歩しています。 Frequency-bin qubits possess unique synergies with wavelength-multiplexed lightwave communications, suggesting valuable opportunities for quantum networking with the existing fiber-optic infrastructure. Although the coherent manipulation of frequency-bin states requires highly controllable multi-spectral-mode interference, the quantum frequency processor (QFP) provides a scalable path for gate synthesis leveraging standard telecom components. Here we summarize the state of the art in experimental QFP characterization. Distinguishing between physically motivated ''open box'' approaches that treat the QFP as a multiport interferometer, and ''black box'' approaches that view the QFP as a general quantum operation, we highlight the assumptions and results of multiple techniques, including quantum process tomography of a tunable beamsplitter -- to our knowledge the first full process tomography of any frequency-bin operation. Our findings should inform future characterization efforts as the QFP increasingly moves beyond proof-of-principle tabletop demonstrations toward integrated devices and deployed quantum networking experiments. | 翻訳日:2023-02-06 17:50:34 公開日:2023-02-03 |
| # 限局性前立腺癌に対する根治的放射線治療における勃起障害軽減のための深層学習(dl)による内性十二指腸動脈(ipa)の自動分節化 Deep Learning (DL)-based Automatic Segmentation of the Internal Pudendal Artery (IPA) for Reduction of Erectile Dysfunction in Definitive Radiotherapy of Localized Prostate Cancer ( http://arxiv.org/abs/2302.01493v1 ) ライセンス: Link先を確認 | Anjali Balagopal, Michael Dohopolski, Young Suk Kwon, Steven Montalvo, Howard Morgan, Ti Bai, Dan Nguyen, Xiao Liang, Xinran Zhong, Mu-Han Lin, Neil Desai, Steve Jiang | (参考訳) 背景と目的:放射線誘発勃起障害(ried)は前立腺癌患者によく見られる。
内耳動脈(IPA)への線量分離が性効力の維持を改善させるかどうかを調べるために、複数の施設で臨床試験が開発されている。
IPAは通常、分節困難のため、OAR(Organ-at-risk)とはみなされない。
本研究は,CTとMRIとCTのみを入力画像のモダリティとして利用し,臨床実践における変化に適応する深層学習(DL)に基づくIPAの自動分割モデルを提案する。
対象と方法:CTおよびMRI画像と雑音性IPAラベルを検索した86例について検討した。
モデルは, モデルトレーニング, テスト, 臨床観察者を対象に, 42/14/30に分割した。
このモデルには3つの大きなイノベーションがありました
1) 効率的な特徴抽出と正確なセグメンテーションを実現するために, 押出ブロックとモダリティアテンションを備えたアーキテクチャを設計した。
2) ノイズラベルで効果的にモデルを訓練するために, 新規な損失関数を用いた。
3)MRIが欠如している場合のセグメンテーションが可能なモデルを作成するためにモダリティ・ドロップアウト・ストラテジーを用いた。
結果: テストデータセットのDSC, ASD, HD95値は62.2%, 2.54mm, 7mmであった。
AIセグメントの輪郭は専門医の輪郭とドシメトリックに同等であった。
調査の結果,専門医のAI輪郭(平均=3.7)は未経験医の輪郭(平均=3.1)よりも高かった。
経験の浅い医師がAIの輪郭から始めると、スコアは3.7に改善した。
結論: 提案モデルでは, セグメンテーションの均一性を向上し, 臨床試験や実践に標準化されたIPAセグメンテーションの導入を促進するため, 高品質なIPAコントラストが得られた。 Background and purpose: Radiation-induced erectile dysfunction (RiED) is commonly seen in prostate cancer patients. Clinical trials have been developed in multiple institutions to investigate whether dose-sparing to the internal-pudendal-arteries (IPA) will improve retention of sexual potency. The IPA is usually not considered a conventional organ-at-risk (OAR) due to segmentation difficulty. In this work, we propose a deep learning (DL)-based auto-segmentation model for the IPA that utilizes CT and MRI or CT alone as the input image modality to accommodate variation in clinical practice. Materials and methods: 86 patients with CT and MRI images and noisy IPA labels were recruited in this study. We split the data into 42/14/30 for model training, testing, and a clinical observer study, respectively. There were three major innovations in this model: 1) we designed an architecture with squeeze-and-excite blocks and modality attention for effective feature extraction and production of accurate segmentation, 2) a novel loss function was used for training the model effectively with noisy labels, and 3) modality dropout strategy was used for making the model capable of segmentation in the absence of MRI. Results: The DSC, ASD, and HD95 values for the test dataset were 62.2%, 2.54mm, and 7mm, respectively. AI segmented contours were dosimetrically equivalent to the expert physician's contours. The observer study showed that expert physicians' scored AI contours (mean=3.7) higher than inexperienced physicians' contours (mean=3.1). When inexperienced physicians started with AI contours, the score improved to 3.7. Conclusion: The proposed model achieved good quality IPA contours to improve uniformity of segmentation and to facilitate introduction of standardized IPA segmentation into clinical trials and practice. | 翻訳日:2023-02-06 17:50:14 公開日:2023-02-03 |
| # DiSProD: 計画のための分布の微分可能なシンボル伝搬 DiSProD: Differentiable Symbolic Propagation of Distributions for Planning ( http://arxiv.org/abs/2302.01491v1 ) ライセンス: Link先を確認 | Palash Chatterjee, Ashutosh Chapagain, Weizhe Chen and Roni Khardon | (参考訳) 本稿では、連続状態と行動空間における確率的遷移を持つ環境向けに開発されたオンラインプランナーであるDiSProDを紹介する。
DiSProDは、独立性の仮定と分布の近似伝播を用いて、与えられたポリシーで条件付けられた将来の軌跡の分布をキャプチャするシンボリックグラフを構築する。
シンボリックグラフはポリシーの値の微分可能表現を提供し、ロングホリゾン探索の効率的な勾配に基づく最適化を可能にする。
近似分布の伝播は多くの軌道の集合と見なすことができ、スパース報酬や確率的環境を扱うのに適している。
ロボットシステムの離散時間計画とリアルタイム制御において,disprodと最先端プランナーの比較実験を行った。
提案手法は, 確率的環境, 探索深度に対する感度, 報酬の分散, 大規模行動空間の処理において, 既存のプランナーを改良する。
さらに実際の実験では、DiSProDが地上の車両や表面の船をコントロールして障害物を回避できることが示されている。 The paper introduces DiSProD, an online planner developed for environments with probabilistic transitions in continuous state and action spaces. DiSProD builds a symbolic graph that captures the distribution of future trajectories, conditioned on a given policy, using independence assumptions and approximate propagation of distributions. The symbolic graph provides a differentiable representation of the policy's value, enabling efficient gradient-based optimization for long-horizon search. The propagation of approximate distributions can be seen as an aggregation of many trajectories, making it well-suited for dealing with sparse rewards and stochastic environments. An extensive experimental evaluation compares DiSProD to state-of-the-art planners in discrete-time planning and real-time control of robotic systems. The proposed method improves over existing planners in handling stochastic environments, sensitivity to search depth, sparsity of rewards, and large action spaces. Additional real-world experiments demonstrate that DiSProD can control ground vehicles and surface vessels to successfully navigate around obstacles. | 翻訳日:2023-02-06 17:49:38 公開日:2023-02-03 |
| # 完璧はテストOracleの敵である Perfect Is the Enemy of Test Oracle ( http://arxiv.org/abs/2302.01488v1 ) ライセンス: Link先を確認 | Ali Reza Ibrahimzada, Yigit Varli, Dilara Tekinoglu, Reyhaneh Jabbarvand | (参考訳) テストオーラクルの自動化は、ソフトウェアテストの最も難しい側面の1つだが、自動テスト入力生成と比較して、比較的扱いにくい。
テストのオーラクルは、テストが失敗する(バグを検出する)か通過するかを判断するために、正しい動作とバギーな動作を区別できる地平線に依存しています。
オラクルの問題を難しく、決定不能にしているのは、根本真実が正確な期待、正しい、またはバグの多い振る舞いを知るべきだという仮定である。
しかし、我々は、正確なoracleを、正確な正しい振る舞いやバグの振る舞いを知らずに構築できると主張しているが、この2つがどのように違うかもしれない。
本稿では,テストアサーションや他の種類のオラクルが存在しない場合に,テスト対象のメソッド(MUT)で単体テストが通過するか失敗するかを判断できる,学習に基づくSEERを提案する。
基底を構築するため、seerはユニットテストとmutsの実装を共同で統一ベクトル空間に組み込んでおり、テストの神経表現は、彼らが渡したmutと似ているが、それらが失敗したmutと似ていないようにしている。
このベクトル表現の上に構築された分類器は、テスト入力が mut あるいは "pass" ラベルのバグを検出するとき、oracle が "fail" ラベルを生成するのに役立ちます。
Our extensive experiments on applying SEER to more than 5K unit tests from a diverse set of open-source Java projects show that the produced oracle is (1) effective in predicting the fail or pass labels, achieving an overall accuracy, precision, recall, and F1 measure of 93%, 86%, 94%, and 90%, (2) generalizable, predicting the labels for the unit test of projects that were not in training or validation set with negligible performance drop, and (3) efficient, detecting the existence of bugs in only 6.5 milliseconds on average. Automation of test oracles is one of the most challenging facets of software testing, but remains comparatively less addressed compared to automated test input generation. Test oracles rely on a ground-truth that can distinguish between the correct and buggy behavior to determine whether a test fails (detects a bug) or passes. What makes the oracle problem challenging and undecidable is the assumption that the ground-truth should know the exact expected, correct, or buggy behavior. However, we argue that one can still build an accurate oracle without knowing the exact correct or buggy behavior, but how these two might differ. This paper presents SEER, a learning-based approach that in the absence of test assertions or other types of oracle, can determine whether a unit test passes or fails on a given method under test (MUT). To build the ground-truth, SEER jointly embeds unit tests and the implementation of MUTs into a unified vector space, in such a way that the neural representation of tests are similar to that of MUTs they pass on them, but dissimilar to MUTs they fail on them. The classifier built on top of this vector representation serves as the oracle to generate "fail" labels, when test inputs detect a bug in MUT or "pass" labels, otherwise. Our extensive experiments on applying SEER to more than 5K unit tests from a diverse set of open-source Java projects show that the produced oracle is (1) effective in predicting the fail or pass labels, achieving an overall accuracy, precision, recall, and F1 measure of 93%, 86%, 94%, and 90%, (2) generalizable, predicting the labels for the unit test of projects that were not in training or validation set with negligible performance drop, and (3) efficient, detecting the existence of bugs in only 6.5 milliseconds on average. | 翻訳日:2023-02-06 17:49:20 公開日:2023-02-03 |
| # Xtal2DoS:状態予測のためのアテンションベース結晶からシーケンス学習 Xtal2DoS: Attention-based Crystal to Sequence Learning for Density of States Prediction ( http://arxiv.org/abs/2302.01486v1 ) ライセンス: Link先を確認 | Junwen Bai, Yuanqi Du, Yingheng Wang, Shufeng Kong, John Gregoire, Carla Gomes | (参考訳) 現代の機械学習技術は材料科学、特に特性予測タスクに広く応用されている。
これらの手法の大部分はスカラー特性の予測に対処するが、より困難なスペクトル特性は強調されないままである。
本稿では,結晶から系列への学習タスクを定式化し,アテンションネットワークを通じて学習原子埋め込みを取り入れ,状態密度(dos)特性の逐次表現をデコードする新しいアテンションベース学習手法であるxtal2dosを提案する。
実験により、Xtal2DoSは既存のモデルよりも高速であることが示され、フォノンと電子DoSの2つの基本スペクトル特性の4つの指標において、他の最先端の手法よりも一貫して優れていた。 Modern machine learning techniques have been extensively applied to materials science, especially for property prediction tasks. A majority of these methods address scalar property predictions, while more challenging spectral properties remain less emphasized. We formulate a crystal-to-sequence learning task and propose a novel attention-based learning method, Xtal2DoS, which decodes the sequential representation of the material density of states (DoS) properties by incorporating the learned atomic embeddings through attention networks. Experiments show Xtal2DoS is faster than the existing models, and consistently outperforms other state-of-the-art methods on four metrics for two fundamental spectral properties, phonon and electronic DoS. | 翻訳日:2023-02-06 17:48:50 公開日:2023-02-03 |
| # 量子暗号のための高次元絡み付きホログラフィ High-dimensional entanglement-enabled holography for quantum encryption ( http://arxiv.org/abs/2302.01485v1 ) ライセンス: Link先を確認 | Ling-Jun Kong, Yifan Sun, Furong Zhang, Jingfeng Zhang, and Xiangdong Zhang | (参考訳) 重要なイメージング技術として、偏光、波長、時間など、異なる物理次元の光のホログラフィが実現されている。
近年,高ロバスト性と高空間分解能の利点を活かした偏光絡み状態を利用して量子ホログラフィーが実現されている。
しかし、偏光は2次元の自由度のみであり、量子ホログラフィーの容量を大幅に制限する。
本稿では,高次元軌道角運動量(OAM)による高次元量子ホログラフィーを実現する手法を提案する。
広い範囲のOAM依存ホログラフィ画像を多重化することにより、高容量のOAM符号化量子ホログラフィシステムを得ることができる。
4次元および6次元のOAM絡み合った状態を用いた基礎実験を実施し,その実現可能性を検証する。
実験の結果,高次元量子ホログラフィーは古典的雑音に対して高いロバスト性を示すことが示された。
さらに,量子暗号のためのoamselective holographic schemeの提案と実証を行った。
従来の方式と比較して,高次元量子ホログラフィではホログラフィック画像暗号化システムのセキュリティが大幅に向上している。 As an important imaging technique, holography has been realized with different physical dimensions of light,including polarization, wavelength, and time. Recently, quantum holography has been realized by utilizing polarization entangled state with the advantages of high robustness and enhanced spatial resolution, comparing with classical one. However, the polarization is only a two-dimensional degree of freedom, which greatly limits the capacity of quantum holography. Here, we propose a method to realize high-dimensional quantum holography by using high-dimensional orbital angular momentum (OAM) entanglement. A high capacity OAM-encoded quantum holographic system can be obtained by multiplexing a wide range of OAM-dependent holographic images. Proof-of-principle experiments with four- and six-dimensional OAM entangled states have been implemented and verify the feasibility of our idea. Our experimental results also demonstrate that the high-dimensional quantum holography shows a high robustness to classical noise. Furthermore, OAMselective holographic scheme for quantum encryption is proposed and demonstrated. Comparing with the previous schemes, the level of security of holographic imaging encryption system can be greatly improved in our high-dimensional quantum holography. | 翻訳日:2023-02-06 17:48:38 公開日:2023-02-03 |
| # SPADE:音響ディスタングルのための自己教師型プレトレーニング SPADE: Self-supervised Pretraining for Acoustic DisEntanglement ( http://arxiv.org/abs/2302.01483v1 ) ライセンス: Link先を確認 | John Harvill, Jarred Barber, Arun Nair, Ramin Pishehvar | (参考訳) 自己教師付き表現学習アプローチは、大量のラベルのないデータに基づいてモデルを訓練する能力によって人気が高まり、自然言語処理、コンピュータビジョン、音声など様々な分野で成功している。
音声領域における従来の自己監督研究では、言語内容、話者のアイデンティティ、リズムといった複数の特徴が絡み合っている。
本研究では,室内音響を音声から切り離す自己教師型アプローチを導入し,デバイス調停の下流タスクにおける音響表現を利用する。
提案手法は,ラベル付き学習データが少ない場合,ベースラインよりも性能が著しく向上することを示すとともに,音声信号の他の属性に不変なまま室内音響情報を符号化することを学習することを示す。 Self-supervised representation learning approaches have grown in popularity due to the ability to train models on large amounts of unlabeled data and have demonstrated success in diverse fields such as natural language processing, computer vision, and speech. Previous self-supervised work in the speech domain has disentangled multiple attributes of speech such as linguistic content, speaker identity, and rhythm. In this work, we introduce a self-supervised approach to disentangle room acoustics from speech and use the acoustic representation on the downstream task of device arbitration. Our results demonstrate that our proposed approach significantly improves performance over a baseline when labeled training data is scarce, indicating that our pretraining scheme learns to encode room acoustic information while remaining invariant to other attributes of the speech signal. | 翻訳日:2023-02-06 17:48:20 公開日:2023-02-03 |
| # レコメンダシステムのためのクラスタ組込み学習 Clustered Embedding Learning for Recommender Systems ( http://arxiv.org/abs/2302.01478v1 ) ライセンス: Link先を確認 | Yizhou Chen, Guangda Huzhang, Anxiang Zeng, Qingtao Yu, Hui Sun, Hengyi Li, Jingyi Li, Yabo Ni, Han Yu, Zhiming Zhou | (参考訳) 近年,レコメンダシステムは急速に進歩し,ユーザやアイテムへの埋め込み学習が重要な役割を担っている。
標準手法はユーザとアイテムごとに独自の埋め込みベクトルを学習する。
しかし、そのような手法は現実世界の応用には2つの重要な制限がある。
1) ユーザやアイテムに共通する埋め込みの学習は困難であり, かつ, 個別に行うことは困難である。
2)ユーザ数や項目数が増えると,メモリコストが不当に高くなる可能性がある。
既存のアプローチは、制限の1つしか対処できないか、全体的なパフォーマンスに欠陥がある。
本稿では,これらの2つの問題に対する統合解として,クラスタ型埋め込み学習(CEL)を提案する。
CELはプラグインとプレイの組込み学習フレームワークで、あらゆる異なる機能相互作用モデルと組み合わせることができる。
特に寒冷なユーザやアイテムに対して、メモリコストを削減して、パフォーマンスの向上を実現することができる。
celは、クラスタ化されたエンティティが共同で共有埋め込みを学習するトップダウン方式で、ユーザとアイテムの自動および動的クラスタリングを可能にする。
CELのアクセラレーションバージョンは、効率的なオンライン更新をサポートする最適な時間複雑性を持つ。
理論的には、非負行列分解の文脈において、CEL に対する一意の最適数のクラスタの存在と識別可能性を証明する。
実証的に,3つの公開データセットと1つのビジネスデータセットに対するCELの有効性を検証する。
特に、CELをビジネスモデルに組み込むと、AUCの$+0.6\%が改善され、その一方で、埋め込みテーブルのサイズは2650ドルより小さくなる。 In recent years, recommender systems have advanced rapidly, where embedding learning for users and items plays a critical role. A standard method learns a unique embedding vector for each user and item. However, such a method has two important limitations in real-world applications: 1) it is hard to learn embeddings that generalize well for users and items with rare interactions on their own; and 2) it may incur unbearably high memory costs when the number of users and items scales up. Existing approaches either can only address one of the limitations or have flawed overall performances. In this paper, we propose Clustered Embedding Learning (CEL) as an integrated solution to these two problems. CEL is a plug-and-play embedding learning framework that can be combined with any differentiable feature interaction model. It is capable of achieving improved performance, especially for cold users and items, with reduced memory cost. CEL enables automatic and dynamic clustering of users and items in a top-down fashion, where clustered entities jointly learn a shared embedding. The accelerated version of CEL has an optimal time complexity, which supports efficient online updates. Theoretically, we prove the identifiability and the existence of a unique optimal number of clusters for CEL in the context of nonnegative matrix factorization. Empirically, we validate the effectiveness of CEL on three public datasets and one business dataset, showing its consistently superior performance against current state-of-the-art methods. In particular, when incorporating CEL into the business model, it brings an improvement of $+0.6\%$ in AUC, which translates into a significant revenue gain; meanwhile, the size of the embedding table gets $2650$ times smaller. | 翻訳日:2023-02-06 17:48:07 公開日:2023-02-03 |
| # LSA-PINN:複素幾何学上のPDEを解く線形境界接続損失 LSA-PINN: Linear Boundary Connectivity Loss for Solving PDEs on Complex Geometry ( http://arxiv.org/abs/2302.01518v1 ) ライセンス: Link先を確認 | Jian Cheng Wong, Pao-Hsiung Chiu, Chinchun Ooi, My Ha Dao, Yew-Soon Ong | (参考訳) 本稿では、物理インフォームドニューラルネットワーク(PINN)を用いて、偏微分方程式(PDE)によって記述される複雑な力学の効率的な学習のための新しい損失定式化について述べる。
実験では,多くの問題,特に複雑なジオメトリにおいて,ピンの既存バージョンは,境界付近での適切なサンプリング戦略を確立することがますます困難になるため,学習不足がみられた。
過密サンプリングは、局所勾配挙動が複雑すぎてPINNによって適切にモデル化できない場合、トレーニング収束を阻害する可能性がある。
一方、サンプルが不十分すぎると、既存のピンは境界付近の領域に過剰に適合しがちで、正しくない解が導かれる。
このような問題を回避するために, PINN 境界における勾配挙動に線形局所構造近似(LSA)を提供する新しい境界結合性 (BCXN) 損失関数を提案する。
私たちのBCXN-lossは、トレーニング中に暗黙的に局所構造を課し、マグニチュードスペーサートレーニングサンプルのオーダーで、問題領域全体にわたる高速な物理情報学習を容易にする。
このlsa-pinn法は、標準のl2-normメトリックの点で、既存の方法よりも数桁小さいエラーを示し、トレーニングサンプルとイテレーションを劇的に削減する。
提案する LSA-PINN は,ネットワークの識別性に関する要件を課さず,多層パーセプトロンと畳み込みニューラルネットワークの両バージョンに対する実装のメリットと容易さを,現在の PINN 文献で一般的に用いられているように示す。 We present a novel loss formulation for efficient learning of complex dynamics from governing physics, typically described by partial differential equations (PDEs), using physics-informed neural networks (PINNs). In our experiments, existing versions of PINNs are seen to learn poorly in many problems, especially for complex geometries, as it becomes increasingly difficult to establish appropriate sampling strategy at the near boundary region. Overly dense sampling can adversely impede training convergence if the local gradient behaviors are too complex to be adequately modelled by PINNs. On the other hand, if the samples are too sparse, existing PINNs tend to overfit the near boundary region, leading to incorrect solution. To prevent such issues, we propose a new Boundary Connectivity (BCXN) loss function which provides linear local structure approximation (LSA) to the gradient behaviors at the boundary for PINN. Our BCXN-loss implicitly imposes local structure during training, thus facilitating fast physics-informed learning across entire problem domains with order of magnitude sparser training samples. This LSA-PINN method shows a few orders of magnitude smaller errors than existing methods in terms of the standard L2-norm metric, while using dramatically fewer training samples and iterations. Our proposed LSA-PINN does not pose any requirement on the differentiable property of the networks, and we demonstrate its benefits and ease of implementation on both multi-layer perceptron and convolutional neural network versions as commonly used in current PINN literature. | 翻訳日:2023-02-06 17:42:06 公開日:2023-02-03 |
| # 擬似ノルムアプローチとレグレット最小化への応用 Pseudonorm Approachability and Applications to Regret Minimization ( http://arxiv.org/abs/2302.01517v1 ) ライセンス: Link先を確認 | Christoph Dann, Yishay Mansour, Mehryar Mohri, Jon Schneider, Balasubramanian Sivan | (参考訳) ブラックウェルの有望なアプローチ可能性理論は、後悔の最小化を含む様々な学習問題の一般的な枠組みを提供する。
しかし、ブラックウェルの証明と暗黙のアルゴリズムは、$\ell_2$ (ユークリッド)距離を用いてアプローチ可能性を測定する。
後悔の最小化のような多くの応用において、他の距離メトリクス(最も一般的には$\ell_\infty$-metric)の下でアプローチ可能性を研究することがより有用であると主張する。
しかし、$\ell_\infty$-approachabilityのために設計されたアルゴリズムの時間と空間の複雑さは、しばしば禁止的に大きいベクトル的ペイオフの空間の次元に依存する。
そこで本稿では,高次元$\ell_\infty$-approachability問題を低次元疑似ノルムアプローチ可能性問題に変換する枠組みを提案する。
まず、平均ペイオフと接近可能性セットの間の$\ell_\infty$- distance を、我々が定義する低次元平均ベクトルペイオフと新しい凸集合の間の擬似距離として等価に定義できることを示す。
次に,$\ell_2$ などのノルムに対するアプローチ可能性に関する従来の研究と類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発し,単位疑似ノルムボールのフェンシェル双対によって与えられる凸集合上のオンライン線形最適化 (olo) によって実現可能であることを示した。
次に、モジュロ弱正規化仮定(modulo mild normalization assumptions)を用いて、元のベクトルペイオフの次元に依存しない$\ell_\infty$-approachabilityアルゴリズムが存在することを示す。
さらに、元の$\ell_\infty$-distanceを効率的に計算できると仮定して、このアルゴリズムが多項式時間複雑性を持つことを示す。
また、最大エントロピー正規化器を持つFTRLアルゴリズムを用いて、その次元における収束が対数である$\ell_\infty$-approachabilityアルゴリズムを提案する。 Blackwell's celebrated approachability theory provides a general framework for a variety of learning problems, including regret minimization. However, Blackwell's proof and implicit algorithm measure approachability using the $\ell_2$ (Euclidean) distance. We argue that in many applications such as regret minimization, it is more useful to study approachability under other distance metrics, most commonly the $\ell_\infty$-metric. But, the time and space complexity of the algorithms designed for $\ell_\infty$-approachability depend on the dimension of the space of the vectorial payoffs, which is often prohibitively large. Thus, we present a framework for converting high-dimensional $\ell_\infty$-approachability problems to low-dimensional pseudonorm approachability problems, thereby resolving such issues. We first show that the $\ell_\infty$-distance between the average payoff and the approachability set can be equivalently defined as a pseudodistance between a lower-dimensional average vector payoff and a new convex set we define. Next, we develop an algorithmic theory of pseudonorm approachability, analogous to previous work on approachability for $\ell_2$ and other norms, showing that it can be achieved via online linear optimization (OLO) over a convex set given by the Fenchel dual of the unit pseudonorm ball. We then use that to show, modulo mild normalization assumptions, that there exists an $\ell_\infty$-approachability algorithm whose convergence is independent of the dimension of the original vectorial payoff. We further show that that algorithm admits a polynomial-time complexity, assuming that the original $\ell_\infty$-distance can be computed efficiently. We also give an $\ell_\infty$-approachability algorithm whose convergence is logarithmic in that dimension using an FTRL algorithm with a maximum-entropy regularizer. | 翻訳日:2023-02-06 17:41:35 公開日:2023-02-03 |
| # クラスオーバーヘルプ: 相互条件付きブレンドターゲットドメイン適応 Class Overwhelms: Mutual Conditional Blended-Target Domain Adaptation ( http://arxiv.org/abs/2302.01516v1 ) ライセンス: Link先を確認 | Pengcheng Xu, Boyu Wang, Charles Ling | (参考訳) 現在のブレンドターゲットドメイン適応法(btda)は通常、ドメインラベル情報を推測または考慮するが、ターゲットのハイブリッドな分類的特徴構造を過度に強調する。
本稿では,各ドメインの分類的分布が,ドメインの不均衡やクラス内のラベル分布シフトに直面する場合でも,BTDAにはドメインラベルが直接必要ではないことを示す。
しかし,BTDAのクラスタ仮定は包括的に成り立たない。
ハイブリッドカテゴリー特徴空間は、カテゴリー分布のモデル化とカテゴリアライメントのための信頼できる擬似ラベルの生成を妨げる。
これに対処するために,不確実性に導かれ,明示的にモデル化され,カテゴリー分布 $p(z|y)$ を直接整列する分類領域判別器を提案する。
同時に、低レベル機能を利用して、さまざまなターゲットスタイルで単一のソース機能を拡張し、バイアス付き分類器 $p(y|z)$ を様々なターゲットで修正する。
そのような条件付きアライメントは$P(Z|Y)$と$P(Y|Z)$は相互強化機構を形成する。
提案手法は,ドメインラベルを用いた手法,特にラベル分布シフト時の手法,およびDomainNet上の単一ターゲットDAと比較して,BTDAにおける最先端の手法よりも優れている。 Current methods of blended targets domain adaptation (BTDA) usually infer or consider domain label information but underemphasize hybrid categorical feature structures of targets, which yields limited performance, especially under the label distribution shift. We demonstrate that domain labels are not directly necessary for BTDA if categorical distributions of various domains are sufficiently aligned even facing the imbalance of domains and the label distribution shift of classes. However, we observe that the cluster assumption in BTDA does not comprehensively hold. The hybrid categorical feature space hinders the modeling of categorical distributions and the generation of reliable pseudo labels for categorical alignment. To address these, we propose a categorical domain discriminator guided by uncertainty to explicitly model and directly align categorical distributions $P(Z|Y)$. Simultaneously, we utilize the low-level features to augment the single source features with diverse target styles to rectify the biased classifier $P(Y|Z)$ among diverse targets. Such a mutual conditional alignment of $P(Z|Y)$ and $P(Y|Z)$ forms a mutual reinforced mechanism. Our approach outperforms the state-of-the-art in BTDA even compared with methods utilizing domain labels, especially under the label distribution shift, and in single target DA on DomainNet. | 翻訳日:2023-02-06 17:41:01 公開日:2023-02-03 |
| # スキューガウス過程を用いた実用優先ベイズ最適化に向けて Towards Practical Preferential Bayesian Optimization with Skew Gaussian Processes ( http://arxiv.org/abs/2302.01513v1 ) ライセンス: Link先を確認 | Shion Takeno, Masahiro Nomura, Masayuki Karasuyama | (参考訳) 本稿では,信頼度が2対比較に限定される優先ベイズ最適化(BO)について検討する。
優先的ガウス過程(gp)モデルを用いて柔軟な選好構造を表現する、優先的boにおける重要な課題は、後方分布が計算に難解なスキューgpであることである。
最も広く用いられるアプローチはガウス近似(gaussian approximation)であり、真の後方の歪さを無視する。
あるいは、マルコフ連鎖モンテカルロ(MCMC)に基づく優先BOも提案されている。
本研究では,まずガウス近似の精度を検証し,この結果から,デュエルの予測確率が不正確であることを示す。
この観察は,ギブスサンプリングの実用効率を示し,低分散MC推定器を導出するスキューGPのMCMCに基づく推定を改善する動機付けとなる。
しかし、MCMCの計算時間は実際にはボトルネックとなる可能性がある。
より実用的なboの構築に向けて,高い計算効率と低いサンプル複雑性を実現する新しい手法を開発し,その効果を広範囲な数値実験により実証する。 We study preferential Bayesian optimization (BO) where reliable feedback is limited to pairwise comparison called duels. An important challenge in preferential BO, which uses the preferential Gaussian process (GP) model to represent flexible preference structure, is that the posterior distribution is a computationally intractable skew GP. The most widely used approach for preferential BO is Gaussian approximation, which ignores the skewness of the true posterior. Alternatively, Markov chain Monte Carlo (MCMC) based preferential BO is also proposed. In this work, we first verify the accuracy of Gaussian approximation, from which we reveal the critical problem that the predictive probability of duels can be inaccurate. This observation motivates us to improve the MCMC-based estimation for skew GP, for which we show the practical efficiency of Gibbs sampling and derive the low variance MC estimator. However, the computational time of MCMC can still be a bottleneck in practice. Towards building a more practical preferential BO, we develop a new method that achieves both high computational efficiency and low sample complexity, and then demonstrate its effectiveness through extensive numerical experiments. | 翻訳日:2023-02-06 17:40:36 公開日:2023-02-03 |
| # 可視赤外人物再同定のためのスペクトル認識ソフトマックス Spectral Aware Softmax for Visible-Infrared Person Re-Identification ( http://arxiv.org/abs/2302.01512v1 ) ライセンス: Link先を確認 | Lei Tan, Pingyang Dai, Qixiang Ye, Mingliang Xu, Yongjian Wu, Rongrong Ji | (参考訳) Visible-infrared person re-identification (VI-ReID) は、異なるモードの歩行者画像とマッチングすることを目的としている。
余分なモダリティの不一致に苦しむ一方で、既存の方法は、シングルモダリティ分類タスクで広く使われているsoftmaxロストレーニングパラダイムに従っている。
ソフトマックス損失は、明らかなモダリティギャップに対して明確なペナルティを欠いているため、VI-ReIDタスクのパフォーマンス上限が悪くなる。
本稿では,スペクトル対応ソフトマックス(SA-Softmax)損失について提案する。
特にsa-softmaxlosは、オリジナルのsoftmaxlosのidプロトタイプに基づく同期最適化ではなく、modality prototypeに基づく非同期最適化戦略を利用している。
2つのモード間の高い重なり合いを促進するため、SA-Softmaxは他のスペクトルからプロトタイプによって各サンプルを最適化する。
sa-softmaxの観測と解析に基づいて,sa-softmaxを特徴マスクと絶対類似性項で修正し,モデルトレーニング中の曖昧な最適化を緩和する。
RegDB と SYSU-MM01 で行った大規模な実験結果から,SA-Softmax の正当性よりも高い性能を示した。 Visible-infrared person re-identification (VI-ReID) aims to match specific pedestrian images from different modalities. Although suffering an extra modality discrepancy, existing methods still follow the softmax loss training paradigm, which is widely used in single-modality classification tasks. The softmax loss lacks an explicit penalty for the apparent modality gap, which adversely limits the performance upper bound of the VI-ReID task. In this paper, we propose the spectral-aware softmax (SA-Softmax) loss, which can fully explore the embedding space with the modality information and has clear interpretability. Specifically, SA-Softmax loss utilizes an asynchronous optimization strategy based on the modality prototype instead of the synchronous optimization based on the identity prototype in the original softmax loss. To encourage a high overlapping between two modalities, SA-Softmax optimizes each sample by the prototype from another spectrum. Based on the observation and analysis of SA-Softmax, we modify the SA-Softmax with the Feature Mask and Absolute-Similarity Term to alleviate the ambiguous optimization during model training. Extensive experimental evaluations conducted on RegDB and SYSU-MM01 demonstrate the superior performance of the SA-Softmax over the state-of-the-art methods in such a cross-modality condition. | 翻訳日:2023-02-06 17:40:18 公開日:2023-02-03 |
| # タイトベイズ規則境界を用いたランダム化ガウス過程上層信頼境界 Randomized Gaussian Process Upper Confidence Bound with Tight Bayesian Regret Bounds ( http://arxiv.org/abs/2302.01511v1 ) ライセンス: Link先を確認 | Shion Takeno, Yu Inatsu, Masayuki Karasuyama | (参考訳) gaussian process upper confidence bound (gp-ucb) は理論上有望なブラックボックス最適化のアプローチであるが、信頼度パラメータ $\beta$ は定理においてかなり大きく、実際ヒューリスティックに選択される。
次に、ランダム化されたGP-UCB(RGP-UCB)は、ガンマ分布に従うランダム化された信頼パラメータを用いて、手動で$\beta$を指定する影響を軽減する。
本研究はまず,RGP-UCBの後悔解析をガンマ分布を含むより広範な分布に一般化する。
さらに,2パラメータ指数分布に基づく改良されたRGP-UCB(IRGP-UCB)を提案する。
IRGP-UCBは、後続のイテレーションでの過剰探索を避けるため、イテレーション数の観点から信頼性パラメータの増加を必要としない。
最後に,IRGP-UCBの有効性を実験的に検証した。 Gaussian process upper confidence bound (GP-UCB) is a theoretically promising approach for black-box optimization; however, the confidence parameter $\beta$ is considerably large in the theorem and chosen heuristically in practice. Then, randomized GP-UCB (RGP-UCB) uses a randomized confidence parameter, which follows the Gamma distribution, to mitigate the impact of manually specifying $\beta$. This study first generalizes the regret analysis of RGP-UCB to a wider class of distributions, including the Gamma distribution. Furthermore, we propose improved RGP-UCB (IRGP-UCB) based on a two-parameter exponential distribution, which achieves tight Bayesian regret bounds. IRGP-UCB does not require an increase in the confidence parameter in terms of the number of iterations, which avoids over-exploration in the later iterations. Finally, we demonstrate the effectiveness of IRGP-UCB through extensive experiments. | 翻訳日:2023-02-06 17:39:59 公開日:2023-02-03 |
| # 長期画像分類の再検討:新しい評価基準による調査とベンチマーク Revisiting Long-tailed Image Classification: Survey and Benchmarks with New Evaluation Metrics ( http://arxiv.org/abs/2302.01507v1 ) ライセンス: Link先を確認 | Chaowei Fang, Dingwen Zhang, Wen Zheng, Xue Li, Le Yang, Lechao Cheng, Junwei Han | (参考訳) 近年,多くの実環境においてデータ分布がロングテールであるため,ロングテール画像分類は研究の注目を集めている。
トレーニングプロセスをより頻繁なクラスに偏らせることにより、データの不均衡問題に対処するためにアルゴリズムの山が考案されている。
しかし、彼らは通常、バランスのとれたテストセットまたはトレーニングデータと異なる分布を持つ複数の独立したテストセットのパフォーマンスを評価する。
テストデータは任意の分布を持つ可能性があるため、既存の評価戦略は実際の分類性能を客観的に反映できない。
進化する分布を持つ一連のテストセットに基づいて,新しい評価ベンチマークを設定した。
メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。
CIFAR10およびCIFAR100データセットにおける既存手法の性能を再評価し,データ再バランス手法の選択を導く上で有用である。
トレーニングパイプラインの集中的な手順に従って、既存のメソッドを再検討し、データバランシング、機能バランシング、損失バランシング、予測バランシングの4つのタイプに分類します。 Recently, long-tailed image classification harvests lots of research attention, since the data distribution is long-tailed in many real-world situations. Piles of algorithms are devised to address the data imbalance problem by biasing the training process towards less frequent classes. However, they usually evaluate the performance on a balanced testing set or multiple independent testing sets having distinct distributions with the training data. Considering the testing data may have arbitrary distributions, existing evaluation strategies are unable to reflect the actual classification performance objectively. We set up novel evaluation benchmarks based on a series of testing sets with evolving distributions. A corpus of metrics are designed for measuring the accuracy, robustness, and bounds of algorithms for learning with long-tailed distribution. Based on our benchmarks, we re-evaluate the performance of existing methods on CIFAR10 and CIFAR100 datasets, which is valuable for guiding the selection of data rebalancing techniques. We also revisit existing methods and categorize them into four types including data balancing, feature balancing, loss balancing, and prediction balancing, according the focused procedure during the training pipeline. | 翻訳日:2023-02-06 17:39:41 公開日:2023-02-03 |
| # LazyGNN: Lazy Propagationによる大規模グラフニューラルネットワーク LazyGNN: Large-Scale Graph Neural Networks via Lazy Propagation ( http://arxiv.org/abs/2302.01503v1 ) ライセンス: Link先を確認 | Rui Xue, Haoyu Han, MohamadAli Torkamani, Jian Pei, Xiaorui Liu | (参考訳) 最近の研究は、より深いグラフニューラルネットワーク(GNN)によるグラフの長距離依存性のキャプチャの利点を示している。
しかし、より深いGNNは、大規模なグラフにおける近隣の爆発問題による長期にわたるスケーラビリティの問題に悩まされている。
本研究では,より深いモデルではなく,より浅いモデルによってグラフの長距離依存性を捉え,より効率的なグラフ表現学習モデルlazygnnを提案する。
さらに,LazyGNNは,ミニバッチLazyGNNの開発を通じて,さらなる高速化を実現するため,既存のスケーラブルなアプローチ(サンプリング手法など)と互換性があることを実証した。
総合的な実験は、大規模なベンチマークで優れた予測性能とスケーラビリティを示す。
LazyGNNはOGBのリーダーボードでも最先端のパフォーマンスを実現している。 Recent works have demonstrated the benefits of capturing long-distance dependency in graphs by deeper graph neural networks (GNNs). But deeper GNNs suffer from the long-lasting scalability challenge due to the neighborhood explosion problem in large-scale graphs. In this work, we propose to capture long-distance dependency in graphs by shallower models instead of deeper models, which leads to a much more efficient model, LazyGNN, for graph representation learning. Moreover, we demonstrate that LazyGNN is compatible with existing scalable approaches (such as sampling methods) for further accelerations through the development of mini-batch LazyGNN. Comprehensive experiments demonstrate its superior prediction performance and scalability on large-scale benchmarks. LazyGNN also achieves state-of-art performance on the OGB leaderboard. | 翻訳日:2023-02-06 17:39:21 公開日:2023-02-03 |
| # ANTM: 進化するトピックを探索するニューラルネットワークトピックモデル ANTM: An Aligned Neural Topic Model for Exploring Evolving Topics ( http://arxiv.org/abs/2302.01501v1 ) ライセンス: Link先を確認 | Hamed Rahimi, Hubert Naacke, Camelia Constantin, Bernd Amann | (参考訳) 人間や機械が生成するテキストデータの量が増えるにつれて、大きなコーパスを理解し、そこから洞察を引き出す方法を見つける必要性がこれまでになく重要になっている。
動的トピックモデルはドキュメントの集合に存在するトピックの進化を研究することに焦点を当てた効果的な手法である。
これらのモデルは、傾向の理解、ソーシャルネットワークでの世論調査、科学的アーカイブにおける研究の進展と発見の追跡に広く利用されている。
トピックは意味的に類似したドキュメントのクラスタとして定義されるので、新しい知識が見つかるにつれてトピックがどのように進化するかを理解するためには、これらのクラスタの内容やテーマの変化を観察する必要がある。
本稿では,異なる期間に文書埋め込みを用いて意味的に類似した文書のクラスタを計算し,その進化を表現するために文書クラスタをアライメントする,動的ニューラルトピックモデルであるアライメントニューラルトピックモデル(antm)を提案する。
このアライメント手順は、時間とともに文書クラスタの時間的類似性を保持し、異なる期間内の文脈によって特徴付けられる単語の意味的変化をキャプチャする。
4つの異なるデータセットの実験では、ANTMは確率的動的トピックモデル(DTM、DTMなど)より優れており、既存の動的ニューラルネットワークモデル(BERTopicなど)よりもトピックコヒーレンスと多様性が著しく向上している。 As the amount of text data generated by humans and machines increases, the necessity of understanding large corpora and finding a way to extract insights from them is becoming more crucial than ever. Dynamic topic models are effective methods that primarily focus on studying the evolution of topics present in a collection of documents. These models are widely used for understanding trends, exploring public opinion in social networks, or tracking research progress and discoveries in scientific archives. Since topics are defined as clusters of semantically similar documents, it is necessary to observe the changes in the content or themes of these clusters in order to understand how topics evolve as new knowledge is discovered over time. In this paper, we introduce the Aligned Neural Topic Model (ANTM), a dynamic neural topic model that uses document embeddings to compute clusters of semantically similar documents at different periods and to align document clusters to represent their evolution. This alignment procedure preserves the temporal similarity of document clusters over time and captures the semantic change of words characterized by their context within different periods. Experiments on four different datasets show that ANTM outperforms probabilistic dynamic topic models (e.g. DTM, DETM) and significantly improves topic coherence and diversity over other existing dynamic neural topic models (e.g. BERTopic). | 翻訳日:2023-02-06 17:39:11 公開日:2023-02-03 |
| # スパイクシナプスの罰則:エネルギー効率の良いスパイクニューラルネットワークの適切な罰則 Spiking Synaptic Penalty: Appropriate Penalty Term for Energy-Efficient Spiking Neural Networks ( http://arxiv.org/abs/2302.01500v1 ) ライセンス: Link先を確認 | Kazuma Suetake, Takuya Ushimaru, Ryuji Saiin, Yoshihide Sawada | (参考訳) スパイキングニューラルネットワーク(SNN)は、スパイキングの性質からエネルギー効率の高いニューラルネットワークである。
しかし、SNNのスパイク発火率が増加するにつれて、エネルギー消費も増加し、SNNの優位性が低下する。
ここでは, トレーニング段階における目的関数にスパイク活動の新たなペナルティ項を導入することで, この問題に対処する。
本手法は,ネットワークアーキテクチャを変更せずに直接エネルギー消費メトリックを最適化するように設計されている。
そのため,提案手法は精度を維持しつつ,他の方法よりもエネルギー消費量を削減できる。
画像分類タスクについて実験を行い,提案手法の有効性を示し,エネルギー効率のトレードオフのジレンマを軽減した。 Spiking neural networks (SNNs) are energy-efficient neural networks because of their spiking nature. However, as the spike firing rate of SNNs increases, the energy consumption does as well, and thus, the advantage of SNNs diminishes. Here, we tackle this problem by introducing a novel penalty term for the spiking activity into the objective function in the training phase. Our method is designed so as to optimize the energy consumption metric directly without modifying the network architecture. Therefore, the proposed method can reduce the energy consumption more than other methods while maintaining the accuracy. We conducted experiments for image classification tasks, and the results indicate the effectiveness of the proposed method, which mitigates the dilemma of the energy--accuracy trade-off. | 翻訳日:2023-02-06 17:38:46 公開日:2023-02-03 |
| # 非ランダム欠落データを用いたスパースPCAの回復支援 Support Recovery in Sparse PCA with Non-Random Missing Data ( http://arxiv.org/abs/2302.01535v1 ) ライセンス: Link先を確認 | Hanbyul Lee, Qifan Song, Jean Honorio | (参考訳) 非ランダムサンプリング方式で不完全・雑音データに対するスパースpcaの実用的アルゴリズムを解析した。
このアルゴリズムは、$\ell_1$-regularized PCA問題の半定緩和に基づいている。
理論上は、ある条件下では、特異解を得ることにより、高い確率でスパースリード固有ベクトルの支持を回復できる。
この条件は、真のデータ行列の最大値と2番目に大きい固有値の間のスペクトルギャップ、ノイズの大きさ、観察された成分の構造的特性を含む。
代数接続の概念と不規則性は、観察された成分の構造的性質を記述するために用いられる。
我々は、我々の定理を合成および実データ分析で実証的に正当化する。
また,本アルゴリズムは,観察された成分が良好な構造特性を持つ場合,他のスパースPCA手法よりも優れていることを示す。
解析の副産物として,行列関連問題に適用可能な決定論的サンプリングスキームを扱うための2つの定理を提案する。 We analyze a practical algorithm for sparse PCA on incomplete and noisy data under a general non-random sampling scheme. The algorithm is based on a semidefinite relaxation of the $\ell_1$-regularized PCA problem. We provide theoretical justification that under certain conditions, we can recover the support of the sparse leading eigenvector with high probability by obtaining a unique solution. The conditions involve the spectral gap between the largest and second-largest eigenvalues of the true data matrix, the magnitude of the noise, and the structural properties of the observed entries. The concepts of algebraic connectivity and irregularity are used to describe the structural properties of the observed entries. We empirically justify our theorem with synthetic and real data analysis. We also show that our algorithm outperforms several other sparse PCA approaches especially when the observed entries have good structural properties. As a by-product of our analysis, we provide two theorems to handle a deterministic sampling scheme, which can be applied to other matrix-related problems. | 翻訳日:2023-02-06 17:33:15 公開日:2023-02-03 |
| # INV: ストリーミングインクリメンタルなニューラルビデオを目指して INV: Towards Streaming Incremental Neural Videos ( http://arxiv.org/abs/2302.01532v1 ) ライセンス: Link先を確認 | Shengze Wang, Alexey Supikov, Joshua Ratcliff, Henry Fuchs, Ronald Azuma | (参考訳) 時空間放射領域における最近の研究は、フォトリアリスティックな自由視点ビデオを生成することができる。
しかし、ビデオ会議やテレプレゼンスなど、インタラクティブなストリーミングシナリオには適さないのは、たとえトレーニングが瞬時に行われたとしても、避けられないラグがあるからである。
これは、これらのアプローチがビデオを利用するため、処理する前にフレームのチャンク(数秒)をバッファリングする必要があるためです。
本研究では,ラグのないフレームバイフレーム方式によるインタラクティブストリーミングへの一歩を踏み出した。
従来の知識では、フレームごとのnerfは、トレーニングコストとストレージの制限のため実用的でない。
Incremental Neural Videos (INV)は、フレームごとのNeRFで、効率よくトレーニングされ、ストリーミング可能である。
1) MLPが自然に構造層と色層に分割し,それぞれに構造情報と色/テクスチャ情報を格納する,という2つの知見に基づいてINVを設計した。
2) この特性を利用して, 従来のフレームからの知識を維持・改善し, フレーム間のトレーニングを減らし, 余分な学習を減らす。
その結果、NeRFの無視的な変更により、INVは8min/frameで優れた品質(>28.6db)を達成することができる。
また19%のトレーニング時間でSOTAよりもパフォーマンスが向上する。
さらに、テンポラルウェイト圧縮はフレーム単位のサイズを0.3MB/frame(NeRFの6.6%)に削減します。
さらに重要なのは、INVはバッファラグが不要で、ストリーミングに自然に適合することです。
この研究はリアルタイムトレーニングを達成していないが、INVのような漸進的なアプローチがインタラクティブな3Dストリーミングに新たな可能性をもたらすことを示している。
さらに, 自然情報分割の発見により, MLPの理解と操作性が向上する。
コードとデータセットはまもなくリリースされる。 Recent works in spatiotemporal radiance fields can produce photorealistic free-viewpoint videos. However, they are inherently unsuitable for interactive streaming scenarios (e.g. video conferencing, telepresence) because have an inevitable lag even if the training is instantaneous. This is because these approaches consume videos and thus have to buffer chunks of frames (often seconds) before processing. In this work, we take a step towards interactive streaming via a frame-by-frame approach naturally free of lag. Conventional wisdom believes that per-frame NeRFs are impractical due to prohibitive training costs and storage. We break this belief by introducing Incremental Neural Videos (INV), a per-frame NeRF that is efficiently trained and streamable. We designed INV based on two insights: (1) Our main finding is that MLPs naturally partition themselves into Structure and Color Layers, which store structural and color/texture information respectively. (2) We leverage this property to retain and improve upon knowledge from previous frames, thus amortizing training across frames and reducing redundant learning. As a result, with negligible changes to NeRF, INV can achieve good qualities (>28.6db) in 8min/frame. It can also outperform prior SOTA in 19% less training time. Additionally, our Temporal Weight Compression reduces the per-frame size to 0.3MB/frame (6.6% of NeRF). More importantly, INV is free from buffer lag and is naturally fit for streaming. While this work does not achieve real-time training, it shows that incremental approaches like INV present new possibilities in interactive 3D streaming. Moreover, our discovery of natural information partition leads to a better understanding and manipulation of MLPs. Code and dataset will be released soon. | 翻訳日:2023-02-06 17:32:57 公開日:2023-02-03 |
| # 圧縮言語モデルのための中間層蒸留の再検討:オーバーフィッティングの観点から Revisiting Intermediate Layer Distillation for Compressing Language Models: An Overfitting Perspective ( http://arxiv.org/abs/2302.01530v1 ) ライセンス: Link先を確認 | Jongwoo Ko, Seungjoon Park, Minchan Jeong, Sukjin Hong, Euijai Ahn, Du-Seong Chang, Se-Young Yun | (参考訳) 知識蒸留(KD)は、事前学習された言語モデル(PLM)の計算問題を緩和するための非常に有望な手法である。
種々のKD手法の中で, 中間層蒸留法(ILD)は, NLP分野における性能有効性を有する事実上の標準KD法である。
本稿では,既存のILD手法はトレーニングデータセットに過度に適合する傾向があるが,これらの手法は元のKDよりも多くの情報を伝達する。
次に,最後のトランスフォーマー層のみを蒸留し,補助的な作業でILDを実行することで,IDDの過度な適合を緩和するための簡単な観察結果を示す。
この2つの知見に基づいて,学生モデルがトレーニングデータセットを過度に適合させない簡易かつ効果的な整合性規則化IDD(CR-ILD)を提案する。
GLUEベンチマークおよびいくつかの合成データセット上でのBERTの蒸留に関する基礎実験により,提案手法が他のKD法よりも優れていることが示された。
私たちのコードはhttps://github.com/jongwooko/cr-ildで利用可能です。 Knowledge distillation (KD) is a highly promising method for mitigating the computational problems of pre-trained language models (PLMs). Among various KD approaches, Intermediate Layer Distillation (ILD) has been a de facto standard KD method with its performance efficacy in the NLP field. In this paper, we find that existing ILD methods are prone to overfitting to training datasets, although these methods transfer more information than the original KD. Next, we present the simple observations to mitigate the overfitting of ILD: distilling only the last Transformer layer and conducting ILD on supplementary tasks. Based on our two findings, we propose a simple yet effective consistency-regularized ILD (CR-ILD), which prevents the student model from overfitting the training dataset. Substantial experiments on distilling BERT on the GLUE benchmark and several synthetic datasets demonstrate that our proposed ILD method outperforms other KD techniques. Our code is available at https://github.com/jongwooko/CR-ILD. | 翻訳日:2023-02-06 17:32:11 公開日:2023-02-03 |
| # PINNの故障インフォーム適応サンプリング(第2報)再サンプリングとサブセットシミュレーションの組み合わせ Failure-informed adaptive sampling for PINNs, Part II: combining with re-sampling and subset simulation ( http://arxiv.org/abs/2302.01529v1 ) ライセンス: Link先を確認 | Zhiwei Gao, Tao Tang, Liang Yan, Tao Zhou | (参考訳) これは、フィジカルインフォームドニューラルネットワーク(FI-PINN)の故障インフォームド適応サンプリングに関するシリーズの第2部である。
先行研究である \cite{gao2022failure} では,故障確率を後方誤差指標として,停止ガウスモデルを用いた適応サンプリング手法を提案する。
本稿では,FI-PINNの2つの拡張について述べる。
最初の拡張は再サンプリング技術と組み合わせることで、新しいアルゴリズムは一定のトレーニングサイズを維持することができる。
これはcosine-annealing(コロケーションポイントのサンプリングを一様から順応へとトレーニング進行を通じて徐々に変換する)によって達成される。
第2の拡張は、エラーインジケータを推定するための後段モデルとしてサブセットシミュレーションアルゴリズムを提示することであり、エラー確率をより効果的に推定し、障害領域で新たな効果的なトレーニングポイントを生成することができる。
本稿では,いくつかの問題を用いて新しい手法の性能を検証し,数値実験により元のアルゴリズムよりも大幅に改善されたことを示す。 This is the second part of our series works on failure-informed adaptive sampling for physic-informed neural networks (FI-PINNs). In our previous work \cite{gao2022failure}, we have presented an adaptive sampling framework by using the failure probability as the posterior error indicator, where the truncated Gaussian model has been adopted for estimating the indicator. In this work, we present two novel extensions to FI-PINNs. The first extension consist in combining with a re-sampling technique, so that the new algorithm can maintain a constant training size. This is achieved through a cosine-annealing, which gradually transforms the sampling of collocation points from uniform to adaptive via training progress. The second extension is to present the subset simulation algorithm as the posterior model (instead of the truncated Gaussian model) for estimating the error indicator, which can more effectively estimate the failure probability and generate new effective training points in the failure region. We investigate the performance of the new approach using several challenging problems, and numerical experiments demonstrate a significant improvement over the original algorithm. | 翻訳日:2023-02-06 17:31:47 公開日:2023-02-03 |
| # 量子データシンドローム符号:サブシステムと不純なコード構成 Quantum Data-Syndrome Codes: Subsystem and Impure Code Constructions ( http://arxiv.org/abs/2302.01527v1 ) ライセンス: Link先を確認 | Andrew Nemec | (参考訳) 量子誤差補正は、信頼性の低い測定値から派生したエラーシンドロームの使用を必要とする。
近年、量子データシンドローム(qds)符号は、冗長性を高めるために線形依存安定化器のセットが実行されるデータとシンドロームの両方のエラーから保護するための可能な手法として提案されている。
実測値の総数を削減したいという動機付けにより,qdsサブシステムコードを導入し,類似するqds安定化コードよりも優れることを示す。
また、不純な安定化器符号から単一誤り訂正QDS安定化器符号の構成を行い、これらの符号はQDS符号の量子ハミングの変種を満たす必要があることを示す。
最後に、このバウンドを使って、独立した関心を持つかもしれない不純で純粋な安定化符号に適用される新しいバウンドを証明する。 Quantum error correction requires the use of error syndromes derived from measurements that may be unreliable. Recently, quantum data-syndrome (QDS) codes have been proposed as a possible approach to protect against both data and syndrome errors, in which a set of linearly dependent stabilizer measurements are performed to increase redundancy. Motivated by wanting to reduce the total number of measurements performed, we introduce QDS subsystem codes, and show that they can outperform similar QDS stabilizer codes derived from them. We also give a construction of single-error-correcting QDS stabilizer codes from impure stabilizer codes, and show that any such code must satisfy a variant of the quantum Hamming bound for QDS codes. Finally, we use this bound to prove a new bound that applies to impure, but not pure, stabilizer codes that may be of independent interest. | 翻訳日:2023-02-06 17:31:27 公開日:2023-02-03 |
| # 実例に基づく説明可能なAIとリモートセンシング画像分類への応用 Example-Based Explainable AI and its Application for Remote Sensing Image Classification ( http://arxiv.org/abs/2302.01526v1 ) ライセンス: Link先を確認 | Shin-nosuke Ishikawa, Masato Todo, Masato Taki, Yasunobu Uchiyama, Kazunari Matsunaga, Peihsuan Lin, Taiki Ogihara, Masao Yasui | (参考訳) 本稿では,推論対象の入力データに類似したトレーニングデータセットの例を示し,それをリモートセンシング画像分類タスクで示すことにより,深層学習モデルの信頼性を検証するための追加情報を提供するために,説明可能な人工知能(xai)の手法である"what i know (wik)"を提案する。
xaiメソッドの期待される役割の1つは、トレーニングされた機械学習モデルの推論がアプリケーションにとって有効であるかどうかを検証することである。
データ中心のアプローチは、選択したサンプルデータをチェックすることによって、トレーニングデータセットが推論毎に十分なかどうかを判断するのに役立つ。
選択した例が入力データと類似している場合、モデルが入力データの特徴から遠く離れた特徴分布を持つデータセット上でトレーニングされていないことが確認できる。
この方法では、サンプルを選択する基準は、入力データとデータ類似性だけでなく、モデルタスクのコンテキストにおけるデータ類似性でもある。
sentinel-2衛星からのリモートセンシング画像データセットを使用して、この概念を合理的に選択された例で実証した。
この方法は、分類や回帰を含む様々な機械学習タスクに適用できる。 We present a method of explainable artificial intelligence (XAI), "What I Know (WIK)", to provide additional information to verify the reliability of a deep learning model by showing an example of an instance in a training dataset that is similar to the input data to be inferred and demonstrate it in a remote sensing image classification task. One of the expected roles of XAI methods is verifying whether inferences of a trained machine learning model are valid for an application, and it is an important factor that what datasets are used for training the model as well as the model architecture. Our data-centric approach can help determine whether the training dataset is sufficient for each inference by checking the selected example data. If the selected example looks similar to the input data, we can confirm that the model was not trained on a dataset with a feature distribution far from the feature of the input data. With this method, the criteria for selecting an example are not merely data similarity with the input data but also data similarity in the context of the model task. Using a remote sensing image dataset from the Sentinel-2 satellite, the concept was successfully demonstrated with reasonably selected examples. This method can be applied to various machine-learning tasks, including classification and regression. | 翻訳日:2023-02-06 17:31:12 公開日:2023-02-03 |
| # Ordered GNN: メッセージのやりとりをヘテロフィと過度にスムースに処理 Ordered GNN: Ordering Message Passing to Deal with Heterophily and Over-smoothing ( http://arxiv.org/abs/2302.01524v1 ) ライセンス: Link先を確認 | Yunchong Song, Chenghu Zhou, Xinbing Wang, Zhouhan Lin | (参考訳) ほとんどのグラフニューラルネットワークはメッセージパッシング機構に従う。
しかし、複数のメッセージパッシングがグラフに適用されると、不明瞭なノード表現が発生し、モデルが遠く離れたノード間の依存関係を効果的に学習するのを防ぐため、余計な問題に直面する。
一方で、異なるラベルを持つ隣接ノードの特徴が誤混合される可能性があり、結果としてヘテロフィリー問題が発生する。
本研究では,特定のホップ内でのメッセージパッシングを目的としたニューロンの特定のブロックを用いて,ノード表現に渡すメッセージの順序付けを提案する。
これは、中央ノードのルートツリーの階層と順序付けられたニューロンのノード表現との整列によって達成される。
広範囲なデータセットによる実験結果から,対象とする設計をせずに,ホモフィリ設定とヘテロフィリ設定を同時に実現できることが示唆された。
さらに、モデルが本当に深くなる間、そのパフォーマンスは極めて良好であり、過剰なスムースな問題を効果的に防止します。
最後に、ゲーティングベクトルを可視化することで、我々のモデルはホモフィリ設定とヘテロフィリ設定の異なる振る舞いを学習し、説明可能なグラフニューラルモデルを提供する。 Most graph neural networks follow the message passing mechanism. However, it faces the over-smoothing problem when multiple times of message passing is applied to a graph, causing indistinguishable node representations and prevents the model to effectively learn dependencies between farther-away nodes. On the other hand, features of neighboring nodes with different labels are likely to be falsely mixed, resulting in the heterophily problem. In this work, we propose to order the messages passing into the node representation, with specific blocks of neurons targeted for message passing within specific hops. This is achieved by aligning the hierarchy of the rooted-tree of a central node with the ordered neurons in its node representation. Experimental results on an extensive set of datasets show that our model can simultaneously achieve the state-of-the-art in both homophily and heterophily settings, without any targeted design. Moreover, its performance maintains pretty well while the model becomes really deep, effectively preventing the over-smoothing problem. Finally, visualizing the gating vectors shows that our model learns to behave differently between homophily and heterophily settings, providing an explainable graph neural model. | 翻訳日:2023-02-06 17:30:53 公開日:2023-02-03 |
| # 予算・ROI制約付き多チャンネル自動車 Multi-channel Autobidding with Budget and ROI Constraints ( http://arxiv.org/abs/2302.01523v1 ) ライセンス: Link先を確認 | Yuan Deng, Negin Golrezaei, Patrick Jaillet, Jason Cheuk Nam Liang, Vahab Mirrokni | (参考訳) デジタルオンライン広告では、広告主は複数のプラットフォーム、あるいはGoogle Ads、Meta Ads Managerなどのいわゆるチャンネルで広告インプレッションを同時に調達する。
広告主が全チャンネルの総コンバージョン(広告クリックなど)を最大化しつつ、総リターン・オン・投資(ROI)と予算制約を満たす方法について検討する。
実際には、広告主は、制御することができないため、グローバルに最適化することができないため、各チャンネルで参加する個別の広告オークションを承認し、その代わりにインプレッションを得るチャンネルを許可する。
本研究では,広告主のグローバルなマルチチャネル問題を解決するために,各レバーの有効性をまず分析する。
広告主がチャネル毎のROIを最適化するだけでは、全体の変換がグローバルな問題で得られるものよりも任意に悪化することを示します。
さらに,チャネル当たりの予算を最適化するだけで,広告主がグローバルに最適な変換を実現できることを示す。
この発見を踏まえ、広告主が各チャンネルでの広告入札に関する情報に制限がある実世界のシナリオと、チャネル調達広告の仕組みを模倣した、帯域単位の予算を生成する効率的な学習アルゴリズムを提案し、その結果の変換は、グローバルな最適問題のものと近似する。
最後に、当社の結果は、広告主の代理として、チャンネルがインプレッションを得られるシングルイットとマルチイットのオークションの両方に当てはまると論じる。 In digital online advertising, advertisers procure ad impressions simultaneously on multiple platforms, or so-called channels, such as Google Ads, Meta Ads Manager, etc., each of which consists of numerous ad auctions. We study how an advertiser maximizes total conversion (e.g. ad clicks) while satisfying aggregate return-on-investment (ROI) and budget constraints across all channels. In practice, an advertiser does not have control over, and thus cannot globally optimize, which individual ad auctions she participates in for each channel, and instead authorizes a channel to procure impressions on her behalf: the advertiser can only utilize two levers on each channel, namely setting a per-channel budget and per-channel target ROI. In this work, we first analyze the effectiveness of each of these levers for solving the advertiser's global multi-channel problem. We show that when an advertiser only optimizes over per-channel ROIs, her total conversion can be arbitrarily worse than what she could have obtained in the global problem. Further, we show that the advertiser can achieve the global optimal conversion when she only optimizes over per-channel budgets. In light of this finding, under a bandit feedback setting that mimics real-world scenarios where advertisers have limited information on ad auctions in each channels and how channels procure ads, we present an efficient learning algorithm that produces per-channel budgets whose resulting conversion approximates that of the global optimal problem. Finally, we argue that all our results hold for both single-item and multi-item auctions from which channels procure impressions on advertisers' behalf. | 翻訳日:2023-02-06 17:30:30 公開日:2023-02-03 |
| # ユーザの関心をシミュレートしてレコメンデーション関連性を改善する Improving Recommendation Relevance by simulating User Interest ( http://arxiv.org/abs/2302.01522v1 ) ライセンス: Link先を確認 | Alexander Kushkuley and Joshua Correa | (参考訳) オンラインアイテム・ツー・イテムのレコメンデーションシステムはほとんどの場合、アイテム間の類似度の測定(ランク)のような距離を推定する。
オンラインレコメンデーションシステムでは、この類似性尺度の時間感度が非常に重要である。
我々は,不活性項目のランクを反復的に減少させることにより,レコメンデーション「レコメンデーション」を単純かつ透過的に維持できることを観察する。
本論文は,この自己説明的観察に基づくアルゴリズム開発を簡潔に要約する。
この研究の背景にある基本的なアイデアは、オンラインレコメンデーションシステムのコンテキストで特許取得されている。 Most if not all on-line item-to-item recommendation systems rely on estimation of a distance like measure (rank) of similarity between items. For on-line recommendation systems, time sensitivity of this similarity measure is extremely important. We observe that recommendation "recency" can be straightforwardly and transparently maintained by iterative reduction of ranks of inactive items. The paper briefly summarizes algorithmic developments based on this self-explanatory observation. The basic idea behind this work is patented in a context of online recommendation systems. | 翻訳日:2023-02-06 17:30:03 公開日:2023-02-03 |
| # オブジェクトナビゲーションのためのメタ能力デカップリングを実現する多重思考 Multiple Thinking Achieving Meta-Ability Decoupling for Object Navigation ( http://arxiv.org/abs/2302.01520v1 ) ライセンス: Link先を確認 | Ronghao Dang, Lu Chen, Liuyi Wang, Zongtao He, Chengju Liu, Qijun Chen | (参考訳) 本稿では、アーキテクチャシステムにおける様々なオブジェクトナビゲーションメソッドを結合し、相互に強化し、一緒に進化させるメタ可能性分離(mad)パラダイムを提案する。
MADパラダイムに基づいて、異なる思考を活用して様々なメタ能力を抽象化する多重思考(MT)モデルを設計する。
提案手法は,複数思考協調(MTC)モジュールを用いて思考間の相互協力を促進するために,入力,エンコーディング,報酬の3つの側面からメタ能力を分離する。
MADは、オブジェクトナビゲーションのための新しい定性的で定量的な解釈可能性システムを導入している。
AI2-ThorとRobothorに関する広範な実験を通じて、本手法が典型的およびゼロショットなオブジェクトナビゲーションタスクにおいて、最先端(SOTA)手法より優れていることを示す。 We propose a meta-ability decoupling (MAD) paradigm, which brings together various object navigation methods in an architecture system, allowing them to mutually enhance each other and evolve together. Based on the MAD paradigm, we design a multiple thinking (MT) model that leverages distinct thinking to abstract various meta-abilities. Our method decouples meta-abilities from three aspects: input, encoding, and reward while employing the multiple thinking collaboration (MTC) module to promote mutual cooperation between thinking. MAD introduces a novel qualitative and quantitative interpretability system for object navigation. Through extensive experiments on AI2-Thor and RoboTHOR, we demonstrate that our method outperforms state-of-the-art (SOTA) methods on both typical and zero-shot object navigation tasks. | 翻訳日:2023-02-06 17:29:56 公開日:2023-02-03 |
| # 垂直的フェデレートラーニング:分類学、脅威、今後の展望 Vertical Federated Learning: Taxonomies, Threats, and Prospects ( http://arxiv.org/abs/2302.01550v1 ) ライセンス: Link先を確認 | Qun Li, Chandra Thapa, Lawrence Ong, Yifeng Zheng, Hua Ma, Seyit A. Camtepe, Anmin Fu, Yansong Gao | (参考訳) フェデレートラーニング(FL)は、最も人気のある分散機械学習技術である。
FLは、生データを処理の単一ポイントに取得することなく、機械学習モデルをトレーニングすることができる。
代わりに、ローカルモデルはローカルデータでトレーニングされ、モデルは共有され、組み合わせられる。
このアプローチは、生のデータ自身ではなく、ローカルにトレーニングされたモデルが共有されるため、データのプライバシを保持する。
広範に、FLは水平連合学習(HFL)と垂直連合学習(VFL)に分けられる。
前者では、異なるパーティが同じ機能セットに対して異なるサンプルを保持する。後者では、異なるパーティが同じサンプルセットに属する異なる特徴データを保持する。
多くの現実的なシナリオにおいて、VFLはHFLよりも重要であり、異なる企業(銀行や小売業者など)が同じ顧客に対して異なる機能(クレジットカード履歴やショッピング履歴など)を持っている。
VFLは新たな研究分野であるが、HFLに比べて確立されていない。
さらに、VFL関連の研究は分散しており、それらの関係は直観的ではない。
そこで本調査は,これらのVFL関連研究を一つの場所に展開することを目的とする。
まず,既存のVFL構造とアルゴリズムを分類する。
次に、セキュリティとプライバシーの観点からの脅威をVFLに提示する。
第3に,今後の研究者の利益のために,vflの課題と展望を詳細に論じた。 Federated learning (FL) is the most popular distributed machine learning technique. FL allows machine-learning models to be trained without acquiring raw data to a single point for processing. Instead, local models are trained with local data; the models are then shared and combined. This approach preserves data privacy as locally trained models are shared instead of the raw data themselves. Broadly, FL can be divided into horizontal federated learning (HFL) and vertical federated learning (VFL). For the former, different parties hold different samples over the same set of features; for the latter, different parties hold different feature data belonging to the same set of samples. In a number of practical scenarios, VFL is more relevant than HFL as different companies (e.g., bank and retailer) hold different features (e.g., credit history and shopping history) for the same set of customers. Although VFL is an emerging area of research, it is not well-established compared to HFL. Besides, VFL-related studies are dispersed, and their connections are not intuitive. Thus, this survey aims to bring these VFL-related studies to one place. Firstly, we classify existing VFL structures and algorithms. Secondly, we present the threats from security and privacy perspectives to VFL. Thirdly, for the benefit of future researchers, we discussed the challenges and prospects of VFL in detail. | 翻訳日:2023-02-06 17:24:04 公開日:2023-02-03 |
| # 非単調部分モジュラー最大化における群フェアネス Group Fairness in Non-monotone Submodular Maximization ( http://arxiv.org/abs/2302.01546v1 ) ライセンス: Link先を確認 | Jing Yuan, Shaojie Tang | (参考訳) サブモジュラー関数の最大化は、機械学習とデータマイニングにおいて幅広い応用がある。
そのようなアプリケーションのひとつがデータ要約で、大きなデータセットから、少数の代表データと多様なデータ項目を選択することを目的としている。
しかし、この設定では、データ項目は人種や性別のような繊細な属性を持つ可能性があり、特定のグループの過剰あるいは過度な表現を引き起こす潜在的なアルゴリズムバイアスを軽減するために \emph{fairness-aware}アルゴリズムを設計することが重要である。
そこで本研究では, グループフェアネス制約に係わる古典的非単調部分モジュラー最大化問題を提案し, 研究する。
我々の目標は、非単調な部分モジュラ関数を最大化する項目の集合を選択し、各グループから選択した項目の数が、決定者によって指定された範囲に比例することである。
この問題に対する最初の定数近似アルゴリズムを開発した。
また、基本モデルを拡張して、選択した項目の総数に対する追加のグローバルサイズ制約を組み込む。 Maximizing a submodular function has a wide range of applications in machine learning and data mining. One such application is data summarization whose goal is to select a small set of representative and diverse data items from a large dataset. However, data items might have sensitive attributes such as race or gender, in this setting, it is important to design \emph{fairness-aware} algorithms to mitigate potential algorithmic bias that may cause over- or under- representation of particular groups. Motivated by that, we propose and study the classic non-monotone submodular maximization problem subject to novel group fairness constraints. Our goal is to select a set of items that maximizes a non-monotone submodular function, while ensuring that the number of selected items from each group is proportionate to its size, to the extent specified by the decision maker. We develop the first constant-factor approximation algorithms for this problem. We also extend the basic model to incorporate an additional global size constraint on the total number of selected items. | 翻訳日:2023-02-06 17:23:44 公開日:2023-02-03 |
| # パレートバンドに対する非インフォーマティブプリエントを用いたトンプソンサンプリングの最適性 Optimality of Thompson Sampling with Noninformative Priors for Pareto Bandits ( http://arxiv.org/abs/2302.01544v1 ) ライセンス: Link先を確認 | Jongyeong Lee, Junya Honda, Chao-Kai Chiang, Masashi Sugiyama | (参考訳) 確率的多重武装バンディット問題では、トンプソンサンプリング(TS)と呼ばれるランダムな確率マッチングポリシーが様々な報酬モデルにおいて優れた性能を示した。
経験的性能に加えて、tsはいくつかのモデルにおいて漸近的な問題依存下限を達成することが示されている。
しかし、その最適性は主に指数族に属する光尾モデルや1パラメータモデルの下で対処されてきた。
本稿では,2つの未知パラメータによってパラメータ化される重尾を持つパレートモデルに対するtsの最適性について考察する。
具体的には、jeffreys pre と reference prior を含む確率マッチング pre と ts の最適性について論じる。
まず、ある確率マッチング先を持つTSが最適後悔境界を達成することを証明する。
次に、jeffreys と reference priors を含む他の pre と ts の準最適性を示す。
それにもかかわらず、jeffreys と reference priors の ts は、切断手順を用いると漸近的な下界が得られる。
以上の結果から,非定型的事前選択を慎重に選択し,tsに基づく政策において減算手続きの有効性を示すことが示唆された。 In the stochastic multi-armed bandit problem, a randomized probability matching policy called Thompson sampling (TS) has shown excellent performance in various reward models. In addition to the empirical performance, TS has been shown to achieve asymptotic problem-dependent lower bounds in several models. However, its optimality has been mainly addressed under light-tailed or one-parameter models that belong to exponential families. In this paper, we consider the optimality of TS for the Pareto model that has a heavy tail and is parameterized by two unknown parameters. Specifically, we discuss the optimality of TS with probability matching priors that include the Jeffreys prior and the reference priors. We first prove that TS with certain probability matching priors can achieve the optimal regret bound. Then, we show the suboptimality of TS with other priors, including the Jeffreys and the reference priors. Nevertheless, we find that TS with the Jeffreys and reference priors can achieve the asymptotic lower bound if one uses a truncation procedure. These results suggest carefully choosing noninformative priors to avoid suboptimality and show the effectiveness of truncation procedures in TS-based policies. | 翻訳日:2023-02-06 17:23:25 公開日:2023-02-03 |
| # マルチプライヤブートストラップに基づく探索 Multiplier Bootstrap-based Exploration ( http://arxiv.org/abs/2302.01543v1 ) ライセンス: Link先を確認 | Runzhe Wan, Haoyu Wei, Branislav Kveton and Rui Song | (参考訳) バンドイット問題に対する大きな関心にもかかわらず、複雑なモデルの効率的なアルゴリズムを設計することは依然として難しい。
本稿では,重み付き損失最小化が可能な任意の報酬モデルに適用可能な新しい探索戦略であるMultiplier Bootstrap-based Exploration(MBE)を提案する。
サブガウシアン・マルチアームド・バンディットにおけるmbeのインスタンス依存とインスタンス非依存のレート-オプティマイズ境界の両方を証明した。
シミュレーションと実データ実験により, MBEの一般化と適応性を示す。 Despite the great interest in the bandit problem, designing efficient algorithms for complex models remains challenging, as there is typically no analytical way to quantify uncertainty. In this paper, we propose Multiplier Bootstrap-based Exploration (MBE), a novel exploration strategy that is applicable to any reward model amenable to weighted loss minimization. We prove both instance-dependent and instance-independent rate-optimal regret bounds for MBE in sub-Gaussian multi-armed bandits. With extensive simulation and real data experiments, we show the generality and adaptivity of MBE. | 翻訳日:2023-02-06 17:23:07 公開日:2023-02-03 |
| # エージェントの意思決定における側方化:人工知能による利益/利益の証明 Lateralization in Agents' Decision Making: Evidence of Benefits/Costs from Artificial Intelligence ( http://arxiv.org/abs/2302.01542v1 ) ライセンス: Link先を確認 | Abubakar Siddique, Will N. Browne, and Gina M. Grimshaw | (参考訳) 側方化は脊椎動物の脳において普遍的であり、移動におけるその役割は生物学的知性において重要な要素と考えられている。
側方化は、貧弱と良好な性能の両方に関係している。
側方化にはコストのバランスを崩す効果があると仮定されている。
横方向化がユビキタスであることを考えると、人工知能にメリットをもたらす可能性がある。
逆に、バイオインテリジェンスにおける側方化の理解を深めるためのツールとして、側方化人工知能システムを用いることができる。
近年、コンピュータビジョンやナビゲーション領域の複雑な問題を解くために、人工知能システムに横方向化が組み込まれている。
本稿では,構成的および全体的レベルで与えられた問題を同時に表現し,対処する2つの新しい横型人工知能システムについて述べる。
実験の結果, 複雑問題の解法において, 側方化系は最先端非側方化系よりも優れていた。
その利点は能力から生じる。
(i)最も適切な視点がシステムを制御するように構成レベルと全体レベルの両方で同時に入力信号を表現すること。
(ii)興奮を発生させ、信号を抑制することにより、余剰な計算を避ける。
横型AIシステムに関連する計算コストは、従来のAIシステムよりも低いか、より良いソリューションを提供することで対抗できる。 Lateralization is ubiquitous in vertebrate brains which, as well as its role in locomotion, is considered an important factor in biological intelligence. Lateralization has been associated with both poor and good performance. It has been hypothesized that lateralization has benefits that may counterbalance its costs. Given that lateralization is ubiquitous, it likely has advantages that can benefit artificial intelligence. In turn, lateralized artificial intelligent systems can be used as tools to advance the understanding of lateralization in biological intelligence. Recently lateralization has been incorporated into artificially intelligent systems to solve complex problems in computer vision and navigation domains. Here we describe and test two novel lateralized artificial intelligent systems that simultaneously represent and address given problems at constituent and holistic levels. The experimental results demonstrate that the lateralized systems outperformed state-of-the-art non-lateralized systems in resolving complex problems. The advantages arise from the abilities, (i) to represent an input signal at both the constituent level and holistic level simultaneously, such that the most appropriate viewpoint controls the system; (ii) to avoid extraneous computations by generating excite and inhibit signals. The computational costs associated with the lateralized AI systems are either less than the conventional AI systems or countered by providing better solutions. | 翻訳日:2023-02-06 17:22:57 公開日:2023-02-03 |
| # 一貫性表現を用いたコントラスト学習 Contrastive Learning with Consistent Representations ( http://arxiv.org/abs/2302.01541v1 ) ライセンス: Link先を確認 | Zihu Wang, Yu Wang, Hanbin Hu, Peng Li | (参考訳) コントラスト学習は表現学習に非常に有望である。
データ拡張は、ラベルを必要とせずにデータの有益なビューを提供することで、コントラスト学習において重要な役割を果たす。
しかし、既存の作業の性能は、典型的には制限された選択セットから選択される、採用データ拡張(DA)関数の品質に大きく依存している。
多様なデータ拡張の活用は魅力的だが、dasと表現学習の複雑さはパフォーマンスの低下につながる可能性がある。
この課題に対処し,大量のデータ拡張の体系的利用を可能にするために,コントラスト学習(Contrastive Learning with Consistent Representations, CoCor)を提案する。
CoCorのコアとなる新しい整合性尺度であるDA整合性は、拡張入力データの表現空間へのマッピングを規定し、これらのインスタンスは適用されたDAの強度と整合した方法で最適な位置にマッピングされる。
さらに,DA強度に対して所望の単調性を維持しつつ,DAの関数としての最適マッピング位置を学習するためのデータ駆動手法を提案する。
提案手法は,バイレベル最適化に基づく半教師付き学習フレームワークを創り出し,画像認識のための新たな最先端結果を得る。 Contrastive learning demonstrates great promise for representation learning. Data augmentations play a critical role in contrastive learning by providing informative views of the data without needing the labels. However, the performance of the existing works heavily relies on the quality of the employed data augmentation (DA) functions, which are typically hand picked from a restricted set of choices. While exploiting a diverse set of data augmentations is appealing, the intricacies of DAs and representation learning may lead to performance degradation. To address this challenge and allow for a systemic use of large numbers of data augmentations, this paper proposes Contrastive Learning with Consistent Representations (CoCor). At the core of CoCor is a new consistency measure, DA consistency, which dictates the mapping of augmented input data to the representation space such that these instances are mapped to optimal locations in a way consistent to the intensity of the DA applied. Furthermore, a data-driven approach is proposed to learn the optimal mapping locations as a function of DA while maintaining a desired monotonic property with respect to DA intensity. The proposed techniques give rise to a semi-supervised learning framework based on bi-level optimization, achieving new state-of-the-art results for image recognition. | 翻訳日:2023-02-06 17:22:36 公開日:2023-02-03 |
| # デバイス:TextCaps用のDeepthおよびVisual ConcEptsAware Transformer DEVICE: DEpth and VIsual ConcEpts Aware Transformer for TextCaps ( http://arxiv.org/abs/2302.01540v1 ) ライセンス: Link先を確認 | Dongsheng Xu, Qingbao Huang, Yi Cai | (参考訳) テキストベースの画像キャプションは重要だが未探索の課題であり、視覚オブジェクトやシーンテキストを含む記述を生成することを目的としている。
近年の研究は進歩を遂げているが、それでもシーンの総合的な理解の欠如と不正確なキャプションの生成に苦しんでいる。
一つの考えられる理由は、現在の研究は主に、深度情報なしでシーンテキストの平面レベルの幾何学的関係を構築することに焦点を当てているためである。
これにより、シーンテキストリレーショナル推論が不十分になり、モデルがシーンテキストを不正確に記述できる。
もう1つの考えられる理由は、既存のメソッドがいくつかの視覚オブジェクトのきめ細かい記述を生成できないことである。
さらに、それらは必須の視覚オブジェクトを無視することもあり、これらの無視オブジェクトに属するシーンテキストは利用されない。
以上の問題に対処するため,テキストキャプチャのためのDEVICE(Depth and VIsual ConcEpts Aware Transformer)を提案する。
具体的には,3次元幾何学的関係を構築するために,奥行き情報を導入し,OCRトークンの特徴を改良するための奥行き強調機能更新モジュールを提案する。
より正確で包括的なキャプションを生成するために,検出された視覚オブジェクト概念のセマンティックな特徴を補助情報として導入する。
本装置は、シーンをより包括的に一般化し、記述された視覚エンティティの精度を高めることができる。
十分な実験により,textcapsテストセットの最先端モデルに匹敵するデバイスの有効性が実証された。
私たちのコードは公開されます。 Text-based image captioning is an important but under-explored task, aiming to generate descriptions containing visual objects and scene text. Recent studies have made encouraging progress, but they are still suffering from a lack of overall understanding of scenes and generating inaccurate captions. One possible reason is that current studies mainly focus on constructing the plane-level geometric relationship of scene text without depth information. This leads to insufficient scene text relational reasoning so that models may describe scene text inaccurately. The other possible reason is that existing methods fail to generate fine-grained descriptions of some visual objects. In addition, they may ignore essential visual objects, leading to the scene text belonging to these ignored objects not being utilized. To address the above issues, we propose a DEpth and VIsual ConcEpts Aware Transformer (DEVICE) for TextCaps. Concretely, to construct three-dimensional geometric relations, we introduce depth information and propose a depth-enhanced feature updating module to ameliorate OCR token features. To generate more precise and comprehensive captions, we introduce semantic features of detected visual object concepts as auxiliary information. Our DEVICE is capable of generalizing scenes more comprehensively and boosting the accuracy of described visual entities. Sufficient experiments demonstrate the effectiveness of our proposed DEVICE, which outperforms state-of-the-art models on the TextCaps test set. Our code will be publicly available. | 翻訳日:2023-02-06 17:22:16 公開日:2023-02-03 |
| # lipschitz banditsアプローチによる連続ハイパーパラメータ最適化 A Lipschitz Bandits Approach for Continuous Hyperparameter Optimization ( http://arxiv.org/abs/2302.01539v1 ) ライセンス: Link先を確認 | Yasong Feng, Weijian Luo, Yimin Huang, Tianyu Wang | (参考訳) 機械学習における最も重要な問題の1つはハイパーパラメータ最適化(HPO)である。
多くのHPOアルゴリズムがあるが、理論的な保証がないか、強い仮定を必要とする。
この目的のために、目的関数のリプシッツ連続性のみを仮定するHPOのリプシッツ帯域ベースアルゴリズムであるBLiEを導入する。
BLiEは目的関数の風景を利用してハイパーパラメータ空間を適応的に探索する。
理論的には、$は
(i)$ blie は$o \left( \frac{1}{\epsilon} \right)^{d_z + \beta}$ の総予算を持つ$\epsilon$-optimalハイパーパラメータを見つける。
(ii)$ BLiE は非常に並列化可能である。
経験的に、BLiEはベンチマークタスクにおける最先端HPOアルゴリズムよりも優れていることを示す。
また,拡散モデルのノイズスケジュールの探索にBLiEを適用した。
デフォルトのスケジュールと比較すると、BLiEスケジュールはサンプリング速度を大幅に改善する。 One of the most critical problems in machine learning is HyperParameter Optimization (HPO), since choice of hyperparameters has a significant impact on final model performance. Although there are many HPO algorithms, they either have no theoretical guarantees or require strong assumptions. To this end, we introduce BLiE -- a Lipschitz-bandit-based algorithm for HPO that only assumes Lipschitz continuity of the objective function. BLiE exploits the landscape of the objective function to adaptively search over the hyperparameter space. Theoretically, we show that $(i)$ BLiE finds an $\epsilon$-optimal hyperparameter with $O \left( \frac{1}{\epsilon} \right)^{d_z + \beta}$ total budgets, where $d_z$ and $\beta$ are problem intrinsic; $(ii)$ BLiE is highly parallelizable. Empirically, we demonstrate that BLiE outperforms the state-of-the-art HPO algorithms on benchmark tasks. We also apply BLiE to search for noise schedule of diffusion models. Comparison with the default schedule shows that BLiE schedule greatly improves the sampling speed. | 翻訳日:2023-02-06 17:21:51 公開日:2023-02-03 |
| # DCM:最小相補エネルギーの原理に基づく深部エネルギー法 DCM: Deep energy method based on the principle of minimum complementary energy ( http://arxiv.org/abs/2302.01538v1 ) ライセンス: Link先を確認 | Yizheng Wang | (参考訳) 最小ポテンシャルと相補エネルギーの原理は固体力学において最も重要な変分原理である。
深層エネルギー法(英: deep energy method、dem)は、最小ポテンシャルエネルギーの原理に基づいており、最小相補エネルギーの重要な形態を欠いている。
そこで本研究では,最小相補エネルギー(DCM)の原理に基づく深部エネルギー法を提案する。
DCMの出力関数は、自然に平衡方程式を満たす応力関数である。
提案したDCMアルゴリズム(DCM-P)を拡張し,エアリー応力関数の双調和方程式を自然に満足する項を追加する。
我々は,演算子学習と物理方程式を組み合わせることで,分岐ネット,トランクネット,ベースネット,特定のネットを含む深部補完エネルギー演算子法(DCM-O)を提案する。
DCM-Oは、データを介して既存の高忠実度数値結果を組み合わせてDCM-Oを訓練する。
次に、相補エネルギーを用いてDCM-Oで分岐ネットとトランクネットをトレーニングする。
DCMの性能を解析するために,最も一般的な応力関数であるPrendtlとAiryの応力関数の数値結果を示す。
提案手法は, 種々の境界条件を用いて, 代表的な機械的問題をモデル化するために用いられる。
DCMと既存のPINNとDEMアルゴリズムを比較した。
その結果,提案したDCMの利点は,理論や数値実験に反映される支配的変位境界条件の問題に対処するのに適していることがわかった。
DCM-PとDCM-OはDCMの精度と計算収束速度を改善する。
DCMは深部エネルギー法の必須補助エネルギー形態である。
エネルギー法に基づく演算子学習はデータと物理方程式のバランスが良く、計算力学に大きな研究の展望を与えると信じている。 The principle of minimum potential and complementary energy are the most important variational principles in solid mechanics. The deep energy method (DEM), which has received much attention, is based on the principle of minimum potential energy and lacks the important form of minimum complementary energy. Thus, we propose the deep energy method based on the principle of minimum complementary energy (DCM). The output function of DCM is the stress function that naturally satisfies the equilibrium equation. We extend the proposed DCM algorithm (DCM-P), adding the terms that naturally satisfy the biharmonic equation in the Airy stress function. We combine operator learning with physical equations and propose a deep complementary energy operator method (DCM-O), including branch net, trunk net, basis net, and particular net. DCM-O first combines existing high-fidelity numerical results to train DCM-O through data. Then the complementary energy is used to train the branch net and trunk net in DCM-O. To analyze DCM performance, we present the numerical result of the most common stress functions, the Prandtl and Airy stress function. The proposed method DCM is used to model the representative mechanical problems with the different types of boundary conditions. We compare DCM with the existing PINNs and DEM algorithms. The result shows the advantage of the proposed DCM is suitable for dealing with problems of dominated displacement boundary conditions, which is reflected in theory and our numerical experiments. DCM-P and DCM-O improve the accuracy of DCM and the speed of calculation convergence. DCM is an essential supplementary energy form of the deep energy method. We believe that operator learning based on the energy method can balance data and physical equations well, giving computational mechanics broad research prospects. | 翻訳日:2023-02-06 17:21:30 公開日:2023-02-03 |
| # 自然言語処理と構造化医療データを用いたCOVID-19感染患者の表現型患者 Using natural language processing and structured medical data to phenotype patients hospitalized due to COVID-19 ( http://arxiv.org/abs/2302.01536v1 ) ライセンス: Link先を確認 | Feier Chang and Jay Krishnan and Jillian H Hurst and Michael E Yarrington and Deverick J Anderson and Emily C O'Brien and Benjamin A Goldstein | (参考訳) 電子健康記録(ehr)から得られた異なる種類のデータを用いて、ehrデータ要素、提供者注記、または両方のデータ型の組み合わせを組み合わせることで、covid-19で入院した患者を、他の徴候で入院した患者ではなく、covid-19で入院した患者を特定するために、covid-19の入院時に異なる計算可能な表現型定義のパフォーマンスを比較した。
チャートレビューに基づく検証を利用してふりかえりデータ分析を行う。
参加者は、2022年1月にSARS-CoV-2陽性の入院者586人である。
自然言語処理を用いて、プロバイダノートとLASSO回帰データとRandom Forestsを用いて、構造化ERHデータ要素、プロバイダノート、あるいは構造化データとプロバイダノートの組み合わせを組み込んだ分類アルゴリズムを適合させた。
結果:sars-cov-2陽性例では586例中38%が新型コロナ以外の理由で入院と判定された。
プロバイダノートを用いた分類アルゴリズムは、構造化ERHデータ要素(AUROC: 0.894 vs 0.841, p < 0.001)を使用したものよりもかなり優れた識別を行い、プロバイダノートと構造化データ要素(AUROC: 0.894 vs 0.893)を組み合わせたモデルと同様に実行された。
SARS-CoV-2陽性の入院患者と、COVID-19により入院したと判断された入院患者とで、病院の成績の指標は明らかに異なっていた。
本研究は,複数の病状がある場合の入院に関連する情報を引き出すための自然言語処理手法の有用性を実証するものである。 To identify patients who are hospitalized because of COVID-19 as opposed to those who were admitted for other indications, we compared the performance of different computable phenotype definitions for COVID-19 hospitalizations that use different types of data from the electronic health records (EHR), including structured EHR data elements, provider notes, or a combination of both data types. And conduct a retrospective data analysis utilizing chart review-based validation. Participants are 586 hospitalized individuals who tested positive for SARS-CoV-2 during January 2022. We used natural language processing to incorporate data from provider notes and LASSO regression and Random Forests to fit classification algorithms that incorporated structured EHR data elements, provider notes, or a combination of structured data and provider notes. Results: Based on a chart review, 38% of 586 patients were determined to be hospitalized for reasons other than COVID-19 despite having tested positive for SARS-CoV-2. A classification algorithm that used provider notes had significantly better discrimination than one that used structured EHR data elements (AUROC: 0.894 vs 0.841, p < 0.001), and performed similarly to a model that combined provider notes with structured data elements (AUROC: 0.894 vs 0.893). Assessments of hospital outcome metrics significantly differed based on whether the population included all hospitalized patients who tested positive for SARS-CoV-2 versus those who were determined to have been hospitalized due to COVID-19. This work demonstrates the utility of natural language processing approaches to derive information related to patient hospitalizations in cases where there may be multiple conditions that could serve as the primary indication for hospitalization. | 翻訳日:2023-02-06 17:21:04 公開日:2023-02-03 |
| # ウィトゲンシュタインの人工知能への影響 Witgenstein's influence on artificial intelligence ( http://arxiv.org/abs/2302.01570v1 ) ライセンス: Link先を確認 | Piero Molino, Jacopo Tagliabue | (参考訳) 現代における人工知能(特に自然言語処理における)の進歩の程度は、オーストリア=イギリスの哲学者ルートヴィヒ・ヴィトゲンシュタインの独創的な業績や思想、特に彼の後期の見解にまでさかのぼる。
Wittgenstein氏のオリジナルの論文を公表することで、人工知能の状態を調査し、その強みと弱みの両方についてコメントする機会が得られます。
同様の文章がスペイン語で最初に登場したのは2021年の『CENTENARIO DEL SILENCIO』で、これはトラクトトゥスの出版から100年を経た本である。 We examine how much of the contemporary progress in artificial intelligence (and, specifically, in natural language processing), can be, more or less directly, traced back to the seminal work and ideas of the Austrian-British philosopher Ludwig Wittgenstein, with particular focus on his late views. Discussing Wittgenstein's original theses will give us the chance to survey the state of artificial intelligence, and comment on both its strengths and weaknesses. A similar text appeared first in Spanish as a chapter of CENTENARIO DEL SILENCIO (2021), a book celebrating 100 years since the publication of the Tractatus. | 翻訳日:2023-02-06 17:15:15 公開日:2023-02-03 |
| # 様々な順序のサンプル親和性を共同で探索する一様テンソルクラスタリング Uniform tensor clustering by jointly exploring sample affinities of various orders ( http://arxiv.org/abs/2302.01569v1 ) ライセンス: Link先を確認 | Hongmin Cai, Fei Qi, Junyu Li, Yu Hu, Yue Zhang, Yiu-ming Cheung, and Bin Hu | (参考訳) ペアワイズアフィニティに基づく従来のクラスタリング手法では,大規模な特徴量を持つがサンプルサイズの低いデータを処理する場合,集中効果に支障をきたすことが多い。
この問題に対処するために,複数サンプルの親和性を用いてサンプル近接を特徴付ける統一テンソルクラスタリング法 (UTC) を提案する。
具体的には、2つの親和行列のハリ・ラオ積を通して三進テンソル親和性を構築することができる。
さらに、初期の研究は、4階テンソル親和性がクロネッカー積によって定義されることを示している。
そこで我々は算術積khatri-rao と kronecker product を用いて,異なる親和性次数を統一テンソルクラスタリングフレームワークに数学的に統合する。
したがって、UTCは様々な順序を組み合わせるために共同で低次元埋め込みを学習する。
最後に,この問題を解決するために数値スキームを考案する。
合成データセットと実世界のデータセットの実験
1) 高次テンソル親和性の使用は,一般的な親和性マトリックスに近接する試料の補足的特徴を与えることができる。
2) 提案手法は, 高次元データを処理する際に異なる次数親和性を生かしてクラスタリングを強化する。 Conventional clustering methods based on pairwise affinity usually suffer from the concentration effect while processing huge dimensional features yet low sample sizes data, resulting in inaccuracy to encode the sample proximity and suboptimal performance in clustering. To address this issue, we propose a unified tensor clustering method (UTC) that characterizes sample proximity using multiple samples' affinity, thereby supplementing rich spatial sample distributions to boost clustering. Specifically, we find that the triadic tensor affinity can be constructed via the Khari-Rao product of two affinity matrices. Furthermore, our early work shows that the fourth-order tensor affinity is defined by the Kronecker product. Therefore, we utilize arithmetical products, Khatri-Rao and Kronecker products, to mathematically integrate different orders of affinity into a unified tensor clustering framework. Thus, the UTC jointly learns a joint low-dimensional embedding to combine various orders. Finally, a numerical scheme is designed to solve the problem. Experiments on synthetic datasets and real-world datasets demonstrate that 1) the usage of high-order tensor affinity could provide a supplementary characterization of sample proximity to the popular affinity matrix; 2) the proposed method of UTC is affirmed to enhance clustering by exploiting different order affinities when processing high-dimensional data. | 翻訳日:2023-02-06 17:15:00 公開日:2023-02-03 |
| # DynaMIX:マルチタスクシステムにおけるDNNベースのリアルタイムアプリケーションのためのリソース最適化 DynaMIX: Resource Optimization for DNN-Based Real-Time Applications on a Multi-Tasking System ( http://arxiv.org/abs/2302.01568v1 ) ライセンス: Link先を確認 | Minkyoung Cho and Kang G. Shin | (参考訳) ディープニューラルネットワーク(DNN)がその重要性と実現可能性を証明するにつれ、オブジェクトの検出や分類といったDNNベースのアプリケーションがますます多く開発され、自動運転車(AV)にデプロイされている。
増大する期待と要求を満たすために、avsは(特に安全のために)タイミング要件を満たしながら、複数の車載アプリケーションに対する限られたオンボードコンピューティングリソースの使用を「最適化する」べきである。
つまり、リアルタイムavアプリは、入力画像を生成してアプリに提供するカメラのフレームレートによって決定される期限を欠くことなく、制限付きオンボードリソースを他のコンカレントアプリと共有すべきである。
しかし、DNNの既存のソリューションのほとんどは、DNNアプリのリソース要件を動的に最適化・修正することなく、高い計算コストのために実行中のアプリの数に応じて、特定のハードウェアの並行性を向上させることに重点を置いている。
この制限を緩和するために、並列アプリケーションのリソース要求を最適化し、実行精度を最大化するDynaMIX(Dynamic MIXed-precision model construction)を提案する。
リアルタイムリソース最適化を実現するために,アプリケーションの性能プロファイルを用いた最適化問題を定式化し,各アプリの精度と最悪のレイテンシについて検討する。
また,実行時に選択したレイヤのみを遅延ロードすることで,モデル全体のロードオーバーヘッドを低減する動的モデル再構成を提案する。
DynaMIXはマルチタスクシステムに対する制約満足度と推論精度の点で評価され, 各種環境・操作条件下での有効性と実現可能性を示す。 As deep neural networks (DNNs) prove their importance and feasibility, more and more DNN-based apps, such as detection and classification of objects, have been developed and deployed on autonomous vehicles (AVs). To meet their growing expectations and requirements, AVs should "optimize" use of their limited onboard computing resources for multiple concurrent in-vehicle apps while satisfying their timing requirements (especially for safety). That is, real-time AV apps should share the limited on-board resources with other concurrent apps without missing their deadlines dictated by the frame rate of a camera that generates and provides input images to the apps. However, most, if not all, of existing DNN solutions focus on enhancing the concurrency of their specific hardware without dynamically optimizing/modifying the DNN apps' resource requirements, subject to the number of running apps, owing to their high computational cost. To mitigate this limitation, we propose DynaMIX (Dynamic MIXed-precision model construction), which optimizes the resource requirement of concurrent apps and aims to maximize execution accuracy. To realize a real-time resource optimization, we formulate an optimization problem using app performance profiles to consider both the accuracy and worst-case latency of each app. We also propose dynamic model reconfiguration by lazy loading only the selected layers at runtime to reduce the overhead of loading the entire model. DynaMIX is evaluated in terms of constraint satisfaction and inference accuracy for a multi-tasking system and compared against state-of-the-art solutions, demonstrating its effectiveness and feasibility under various environmental/operating conditions. | 翻訳日:2023-02-06 17:14:37 公開日:2023-02-03 |
| # サイバー物理システムにおけるオンラインエラー検出のための深層強化学習 Deep Reinforcement Learning for Online Error Detection in Cyber-Physical Systems ( http://arxiv.org/abs/2302.01567v1 ) ライセンス: Link先を確認 | Seyyedamirhossein Saeidi and Forouzan Fallah and Saeed Samieezafarghandi and Hamed Farbeh | (参考訳) 信頼性はサイバー物理システム(CPS)の主要な設計基準の一つである。
これはCPSにいくつかの重要な応用があり、その失敗は破滅的であるからである。
したがって、CPSにおいて強いエラー検出と補正機構を用いることは避けられない。
CPSはセンサー、ネットワーク、マイクロコントローラを含む様々なユニットで構成されている。
これらのユニットは、いつでも故障状態にあり、発生した故障が誤った出力をもたらす可能性がある。
故障によりCPSのユニットが故障し、最終的にクラッシュする可能性がある。
従来のフォールトトレラントなアプローチには冗長時間、ハードウェア、情報、ソフトウェアなどがある。
しかし、これらのアプローチは低いエラーカバレッジ以外に大きなオーバーヘッドを課すため、適用性が制限される。
さらに、これらのアプローチでは、エラーの発生と検出の間の間隔が長すぎる。
本稿では,深層強化学習(drl)に基づいて,高い精度で誤りを検出できるだけでなく,非常に低い推論時間でエラー検出が可能な新しい誤り検出手法を提案する。
提案手法は,正規データから異なる種類のエラーを分類し,システムが故障するかどうかを予測できる。
評価結果から,提案手法の精度は2倍以上に向上し,推算時間も他の手法に比べて5倍以上に向上したことが示された。 Reliability is one of the major design criteria in Cyber-Physical Systems (CPSs). This is because of the existence of some critical applications in CPSs and their failure is catastrophic. Therefore, employing strong error detection and correction mechanisms in CPSs is inevitable. CPSs are composed of a variety of units, including sensors, networks, and microcontrollers. Each of these units is probable to be in a faulty state at any time and the occurred fault can result in erroneous output. The fault may cause the units of CPS to malfunction and eventually crash. Traditional fault-tolerant approaches include redundancy time, hardware, information, and/or software. However, these approaches impose significant overheads besides their low error coverage, which limits their applicability. In addition, the interval between error occurrence and detection is too long in these approaches. In this paper, based on Deep Reinforcement Learning (DRL), a new error detection approach is proposed that not only detects errors with high accuracy but also can perform error detection at the moment due to very low inference time. The proposed approach can categorize different types of errors from normal data and predict whether the system will fail. The evaluation results illustrate that the proposed approach has improved more than 2x in terms of accuracy and more than 5x in terms of inference time compared to other approaches. | 翻訳日:2023-02-06 17:14:11 公開日:2023-02-03 |
| # 昇降モデルのための因果推論に基づく単分岐アンサンブルツリー Causal Inference Based Single-branch Ensemble Trees For Uplift Modeling ( http://arxiv.org/abs/2302.01563v1 ) ライセンス: Link先を確認 | Fanglan Zheng, Menghan Wang, Kun Li, Jiang Tian, Xiaojia Xiang | (参考訳) 本稿では,因果推論に基づく単一分岐アンサンブル木を用いたアップリフトモデリング,すなわちCIETを提案する。
予測確率モデリングの標準的な分類法とは異なり、CIETは行動や治療による結果の予測確率の変化を達成することを目的としている。
CIETによると、治療群と対照群間の結果分布の差を最大化するために、2つの分割基準が特別に設計されている。
次に、トップダウンノード分割アプローチを採用することで、新しいシングルブランチツリーを構築し、残りのサンプルは、上位ノード分割ロジックでカバーされていないため検閲する。
これにより、検閲データ上に木構築プロセスを繰り返すことで、一連の推論規則付き単一ブランチアンサンブルツリーを形成する。
さらに,CIETは,昇降曲線 (AUUC) とカイニ係数の両方の観点から,従来の昇降モデリング手法よりも優れていることを示した。
現在、cietは中国の国立金融持株グループにおけるオンライン個人ローンにすでに適用されている。
CIETはまた、Web広告、医療、経済学といった幅広いビジネス領域における因果推論に機械学習技術を適用するアナリストにも使われる。 In this manuscript (ms), we propose causal inference based single-branch ensemble trees for uplift modeling, namely CIET. Different from standard classification methods for predictive probability modeling, CIET aims to achieve the change in the predictive probability of outcome caused by an action or a treatment. According to our CIET, two partition criteria are specifically designed to maximize the difference in outcome distribution between the treatment and control groups. Next, a novel single-branch tree is built by taking a top-down node partition approach, and the remaining samples are censored since they are not covered by the upper node partition logic. Repeating the tree-building process on the censored data, single-branch ensemble trees with a set of inference rules are thus formed. Moreover, CIET is experimentally demonstrated to outperform previous approaches for uplift modeling in terms of both area under uplift curve (AUUC) and Qini coefficient significantly. At present, CIET has already been applied to online personal loans in a national financial holdings group in China. CIET will also be of use to analysts applying machine learning techniques to causal inference in broader business domains such as web advertising, medicine and economics. | 翻訳日:2023-02-06 17:13:55 公開日:2023-02-03 |
| # 複雑構造構築のための階層的レベルジェネレータの構成 Hierarchically Composing Level Generators for the Creation of Complex Structures ( http://arxiv.org/abs/2302.01561v1 ) ライセンス: Link先を確認 | Michael Beukman, Manuel Fokam, Marcel Kruger, Guy Axelrod, Muhammad Nasir, Branden Ingram, Benjamin Rosman, Steven James | (参考訳) プロシージャコンテンツ生成(PCG)は成長する分野であり、ビデオゲーム業界で多くの応用が見られ、手作業で作成するコストのごく一部でより良いゲームを作成するのに大いに役立つ。
しかし、pcgの作業の多くは、複雑な設定のために最適化可能な客観的関数を設計することが難しいため、単純なゲームで比較的単純なレベルを生成することに集中している。
これはPCGの適用性をより複雑で現代的なタイトルに制限し、業界における採用を妨げる。
本研究の目的は, 構成レベル生成手法を導入し, 単純で低レベルなジェネレータを再帰的に構成し, 大規模かつ複雑な生成物を構築することである。
このアプローチは、容易に最適化可能な目的と、低レベルのコンポーネントを参照することで、解釈可能な方法で複雑な構造を設計する能力を可能にする。
提案手法は,複数のタスクにおいて設計者の機能要件をより正確に満たし,非構成ベースラインよりも優れていることを示す。
最後に、簡単なベースジェネレータを用いて生成された、巨大で複雑な、しかしまだ一貫性のある構造を描写した質的なショーケース(Minecraft)を提供する。 Procedural content generation (PCG) is a growing field, with numerous applications in the video game industry, and great potential to help create better games at a fraction of the cost of manual creation. However, much of the work in PCG is focused on generating relatively straightforward levels in simple games, as it is challenging to design an optimisable objective function for complex settings. This limits the applicability of PCG to more complex and modern titles, hindering its adoption in industry. Our work aims to address this limitation by introducing a compositional level generation method, which recursively composes simple, low-level generators together to construct large and complex creations. This approach allows for easily-optimisable objectives and the ability to design a complex structure in an interpretable way by referencing lower-level components. We empirically demonstrate that our method outperforms a non-compositional baseline by more accurately satisfying a designer's functional requirements in several tasks. Finally, we provide a qualitative showcase (in Minecraft) illustrating the large and complex, but still coherent, structures that were generated using simple base generators. | 翻訳日:2023-02-06 17:13:36 公開日:2023-02-03 |
| # Describe, Explain, Plan and Select: オープンワールドマルチタスクエージェントを実現する大規模言語モデルによる対話型プランニング Describe, Explain, Plan and Select: Interactive Planning with Large Language Models Enables Open-World Multi-Task Agents ( http://arxiv.org/abs/2302.01560v1 ) ライセンス: Link先を確認 | Zihao Wang, Shaofei Cai, Anji Liu, Xiaojian Ma, Yitao Liang | (参考訳) 本稿では,マルチタスクの具体化エージェントを開発する上で,ポピュラーで民主的で挑戦的なオープンエンド環境であるMinecraftの計画問題について検討する。
このようなエージェントを計画に力づける上での2つの大きな課題を見つけました
1)minecraftのようなオープンな世界での計画には,タスクの長期的性質から,正確かつ多段階的な推論が必要となる。
2)バニラプランナーは,複雑な計画内で並列サブゴールを発注する場合,現在のエージェントに近づかないため,計画の効率は低下する可能性がある。
そこで本研究では,大規模言語モデル(llms)に基づく対話型計画手法であるdescribe, explain, plan and select (deps)を提案する。
提案手法は,長期計画中のフィードバックによる誤り訂正に役立ち,目標選択モジュールによる近接感を学習可能なモジュールとして提供し,完了推定ステップに基づいて並列サブゴールをランク付けし,それに従って元の計画を改善する。
私たちの実験は、70以上のMinecraftタスクをしっかりと達成し、全体的なパフォーマンスをほぼ2倍にするという、最初のマルチタスクエージェントのマイルストーンです。
最後に、アブレーションと探索研究は、我々の設計がどのようにその設計に勝っているかを詳述し、我々のアプローチに対する大きな挑戦である$\texttt{ObtainDiamond}の有望なアップデートを提供する。
コードはhttps://github.com/craftjarvis/mc-plannerでリリースされる。 In this paper, we study the problem of planning in Minecraft, a popular, democratized yet challenging open-ended environment for developing multi-task embodied agents. We've found two primary challenges of empowering such agents with planning: 1) planning in an open-ended world like Minecraft requires precise and multi-step reasoning due to the long-term nature of the tasks, and 2) as vanilla planners do not consider the proximity to the current agent when ordering parallel sub-goals within a complicated plan, the resulting plan could be inefficient. To this end, we propose "Describe, Explain, Plan and Select" (DEPS), an interactive planning approach based on Large Language Models (LLMs). Our approach helps with better error correction from the feedback during the long-haul planning, while also bringing the sense of proximity via goal Selector, a learnable module that ranks parallel sub-goals based on the estimated steps of completion and improves the original plan accordingly. Our experiments mark the milestone of the first multi-task agent that can robustly accomplish 70+ Minecraft tasks and nearly doubles the overall performances. Finally, the ablation and exploratory studies detail how our design beats the counterparts and provide a promising update on the $\texttt{ObtainDiamond}$ grand challenge with our approach. The code is released at https://github.com/CraftJarvis/MC-Planner. | 翻訳日:2023-02-06 17:13:17 公開日:2023-02-03 |
| # ハイブリッドデータ生成モデルに基づくUAVプロペラ故障検出のための機械学習 Machine Learning for UAV Propeller Fault Detection based on a Hybrid Data Generation Model ( http://arxiv.org/abs/2302.01556v1 ) ライセンス: Link先を確認 | J.J. Tong, W. Zhang, F. Liao, C.F. Li, Y.F. Zhang | (参考訳) 本報告では,4段無人航空機(UAV)の故障の監視と位置推定が可能なデータ駆動システムの開発について述べるとともに,実シナリオ下での故障の程度を評価する。
オフライントレーニングデータ生成を実現するために、データ駆動モデルと、uavのキネマティクスを記述する確立された動的モデルを組み合わせた仮想データ生成モデルを開発するためのハイブリッドアプローチが提案されている。
故障プロペラの性能低下を効果的に表現するために,深部ニューラルネットワークの変動,LSTMネットワークを提案する。
プロペラのRPMを入力とし、プロペラの故障条件に基づいて、提案したプロペラモデルは、その結果のトルクと推力を推定する。
次に, 種々の故障シナリオ下でのUAVの飛行データセットを, 開発したデータ生成モデルを用いてシミュレーションにより生成する。
最後に, cnnモデルを用いた故障分類器を提案するとともに, 損傷したプロペラの損傷度を評価する。
本稿では,RPMと飛行データを用いて,故障プロペラの同定と4軸UAVの故障レベル分類に焦点を当てた。
これにより、早期のマイナーな障害検出が可能となり、障害が修復されていない場合に深刻な障害が発生するのを防ぐことができる。
シミュレーション以外の手法の作業性をさらに検証するため,実飛行試験を屋内で実施した。
実際のフライトデータを収集し、実際のsim-realテストへのシミュレーションを行う。
実験によるUAV構築の不完全性により, シミュレーションモデルに対する若干のキャリブレーション手法が提案され, 実験結果から, プロペラ断層の位置と損傷の程度・タイプを同定できることが確認された。
現在、検査セットの診断精度は80%以上である。 This paper describes the development of an on-board data-driven system that can monitor and localize the fault in a quadrotor unmanned aerial vehicle (UAV) and at the same time, evaluate the degree of damage of the fault under real scenarios. To achieve offline training data generation, a hybrid approach is proposed for the development of a virtual data-generative model using a combination of data-driven models as well as well-established dynamic models that describe the kinematics of the UAV. To effectively represent the drop in performance of a faulty propeller, a variation of the deep neural network, a LSTM network is proposed. With the RPM of the propeller as input and based on the fault condition of the propeller, the proposed propeller model estimates the resultant torque and thrust. Then, flight datasets of the UAV under various fault scenarios are generated via simulation using the developed data-generative model. Lastly, a fault classifier using a CNN model is proposed to identify as well as evaluate the degree of damage to the damaged propeller. The scope of this paper focuses on the identification of faulty propellers and classification of the fault level for quadrotor UAVs using RPM as well as flight data. Doing so allows for early minor fault detection to prevent serious faults from occurring if the fault is left unrepaired. To further validate the workability of this approach outside of simulation, a real-flight test is conducted indoors. The real flight data is collected and a simulation to real sim-real test is conducted. Due to the imperfections in the build of our experimental UAV, a slight calibration approach to our simulation model is further proposed and the experimental results obtained show that our trained model can identify the location of propeller fault as well as the degree/type of damage. Currently, the diagnosis accuracy on the testing set is over 80%. | 翻訳日:2023-02-06 17:12:49 公開日:2023-02-03 |
| # マルチモーダル関係推定による感情的意味ギャップの橋渡し Bridging the Emotional Semantic Gap via Multimodal Relevance Estimation ( http://arxiv.org/abs/2302.01555v1 ) ライセンス: Link先を確認 | Chuan Zhang, Daoxin Zhang, Ruixiu Zhang, Jiawei Li, Jianke Zhu | (参考訳) 人間は、表情、声、自然言語など、感情表現の豊かな方法を持っている。
異なる個人の多様性と複雑さのため、様々なモダリティによって表される感情は意味的に無関係である。
異なるモダリティからの情報を直接流用することで、必然的にモデルが意味的に無関係なモダリティからノイズを受けることができる。
この問題に対処するために,マルチモーダル感情におけるモーダル間の意味を捉えるマルチモーダル関連性推定ネットワークを提案する。
具体的には,各モダリティの意味的関連性の重みを反映するために注意機構を利用する。
さらに,各モダリティのセマンティクスを弱く管理するために,関連するセマンティクス推定損失を提案する。
さらに,特徴空間におけるカテゴリーレベルのモダリティ関連セマンティクスの類似性を最適化するために,コントラッシブラーニングを用いて,不均一なモダリティ間のセマンティクスギャップを埋める。
実際の対話シナリオにおける感情状態をよりよく反映し,セマンティック関連分析を行うために,SDMEと呼ばれる単一ラベルの離散的マルチモーダル感情データセットを収集し,大きなカテゴリバイアスを伴うマルチモーダルセマンティック関連研究を可能にする。
連続的および離散的な感情データセットの実験は、我々のモデルが関連セマンティクス、特にモーダルセマンティクスにおける大きな偏差を効果的に捉えることができることを示している。
コードとsdmeデータセットは公開される予定だ。 Human beings have rich ways of emotional expressions, including facial action, voice, and natural languages. Due to the diversity and complexity of different individuals, the emotions expressed by various modalities may be semantically irrelevant. Directly fusing information from different modalities may inevitably make the model subject to the noise from semantically irrelevant modalities. To tackle this problem, we propose a multimodal relevance estimation network to capture the relevant semantics among modalities in multimodal emotions. Specifically, we take advantage of an attention mechanism to reflect the semantic relevance weights of each modality. Moreover, we propose a relevant semantic estimation loss to weakly supervise the semantics of each modality. Furthermore, we make use of contrastive learning to optimize the similarity of category-level modality-relevant semantics across different modalities in feature space, thereby bridging the semantic gap between heterogeneous modalities. In order to better reflect the emotional state in the real interactive scenarios and perform the semantic relevance analysis, we collect a single-label discrete multimodal emotion dataset named SDME, which enables researchers to conduct multimodal semantic relevance research with large category bias. Experiments on continuous and discrete emotion datasets show that our model can effectively capture the relevant semantics, especially for the large deviations in modal semantics. The code and SDME dataset will be publicly available. | 翻訳日:2023-02-06 17:12:18 公開日:2023-02-03 |
| # 座標再最適化による連続量子ゲートファミリーの効率的な制御パルス Efficient control pulses for continuous quantum gate families through coordinated re-optimization ( http://arxiv.org/abs/2302.01553v1 ) ライセンス: Link先を確認 | Jason Chadwick and Frederic T. Chong | (参考訳) 少数の参照パルスを校正した後,量子ゲートの連続パラメータ集合に対して高速に高忠実度制御パルスを生成する方法を提案する。
ゲートファミリ内の複数の参照操作を選択し、これらの操作を実装するパルスを直接最適化し、その後、パルスを反復的に最適化して、その形状が密接に関連する操作に類似するように誘導する。
直交補間法は連続集合における任意の演算に対する高忠実度パルスを得ることができる。
この手順は、2量子ゲートの3パラメータカルタン分解において、2量子ゲートの制御パルスを得るためのものである。
この方法は任意のゲートパラメータに一般化され、パルス最適化アルゴリズムで使用することができる。 We present a general method to quickly generate high-fidelity control pulses for any continuously-parameterized set of quantum gates after calibrating a small number of reference pulses. We pick several reference operations in the gate family of interest and directly optimize pulses that implement these operations, then iteratively re-optimize the pulses to guide their shapes to be similar for operations that are closely related. A straightforward interpolation method can then obtain high-fidelity pulses for arbitrary operations in the continuous set. We demonstrate this procedure on the three-parameter Cartan decomposition of two-qubit gates to obtain control pulses for any two-qubit gate, up to single-qubit operations, with consistently high fidelity. The method generalizes to any number of gate parameters and can be used with any pulse optimization algorithm. | 翻訳日:2023-02-06 17:11:55 公開日:2023-02-03 |
| # TT-TFHE: 完全同型暗号化フレンドリーニューラルネットワークアーキテクチャ TT-TFHE: a Torus Fully Homomorphic Encryption-Friendly Neural Network Architecture ( http://arxiv.org/abs/2302.01584v1 ) ライセンス: Link先を確認 | Adrien Benamira, Tristan Gu\'erand, Thomas Peyrin, Sayandeep Saha | (参考訳) 本稿では,Truth-Table Neural Networks(TTnet)と呼ばれる最近の畳み込みニューラルネットワーク群を用いて,Torus FHE(TFHE)を表や画像のデータセットに効果的に拡張する,深層ニューラルネットワークであるTT-TFHEを提案する。
提案フレームワークは実装が容易でttnetベースの自動設計ツールボックスを提供し、暗号化データ上で推論を行うための基盤となる(pythonベースの)オープンソースの具体的な実装(cpuベースでルックアップテーブルの実装)を提供する。
実験により、TT-TFHEは3つの表付きデータセット上の全ホモモルフィック暗号化(HE)セットアップの時間と正確性において大幅に優れており、他のすべての機能は同等であることが示された。
MNIST や CIFAR-10 のような画像データセットでは、TT-TFHE は他のTFHE のセットアップより一貫して優れており、BFV や CKKS といった他の HE の亜種と競合している(同じレベルの128ビットの暗号化セキュリティ保証を維持している)。
さらに、当社のソリューションはメモリフットプリントが極めて低く(MNISTでは数十MBまで)、ユーザ毎に数十～数百GBのメモリを必要とする他のHEセットアップとは対照的である(通信オーバーヘッドに加えて)。
これは、テーブル形式のデータセットとMNISTの両方に完全に実用的なプライベート推論ソリューション(推測時間に数秒、メモリに数十MB)を提示する最初の作品であり、サーバ側の複数のスレッドやユーザにも容易にスケールできる。 This paper presents TT-TFHE, a deep neural network Fully Homomorphic Encryption (FHE) framework that effectively scales Torus FHE (TFHE) usage to tabular and image datasets using a recent family of convolutional neural networks called Truth-Table Neural Networks (TTnet). The proposed framework provides an easy-to-implement, automated TTnet-based design toolbox with an underlying (python-based) open-source Concrete implementation (CPU-based and implementing lookup tables) for inference over encrypted data. Experimental evaluation shows that TT-TFHE greatly outperforms in terms of time and accuracy all Homomorphic Encryption (HE) set-ups on three tabular datasets, all other features being equal. On image datasets such as MNIST and CIFAR-10, we show that TT-TFHE consistently and largely outperforms other TFHE set-ups and is competitive against other HE variants such as BFV or CKKS (while maintaining the same level of 128-bit encryption security guarantees). In addition, our solutions present a very low memory footprint (down to dozens of MBs for MNIST), which is in sharp contrast with other HE set-ups that typically require tens to hundreds of GBs of memory per user (in addition to their communication overheads). This is the first work presenting a fully practical solution of private inference (i.e. a few seconds for inference time and a few dozens MBs of memory) on both tabular datasets and MNIST, that can easily scale to multiple threads and users on server side. | 翻訳日:2023-02-06 17:05:56 公開日:2023-02-03 |
| # マルチモーダル言語モデル評価におけるステレオタイプ制御 Controlling for Stereotypes in Multimodal Language Model Evaluation ( http://arxiv.org/abs/2302.01582v1 ) ライセンス: Link先を確認 | Manuj Malik and Richard Johansson | (参考訳) 本稿では,ステレオタイプの有無に関わらず,言語・ビジョン言語モデルがどのように視覚信号を使用するかを測定するための方法論と2つのベンチマークセットを設計する。
第1のベンチマークは、一般的なオブジェクトのステレオタイプ色をテストするように設計され、第2のベンチマークは、ジェンダーステレオタイプを検討する。
重要なアイデアは、画像がステレオタイプに適合する場合の予測と、そうでない場合の予測を比較することである。
近年のTransformerベースのFLAVAは画像選択に敏感で,VisualBERTやLXMERTといった従来のCNNモデルよりもステレオタイプの影響を受けにくい。
この効果は、モデルがステレオタイプや視覚信号に依存しているかどうかわからない従来の評価よりも、このタイプの制御環境ではより明確である。 We propose a methodology and design two benchmark sets for measuring to what extent language-and-vision language models use the visual signal in the presence or absence of stereotypes. The first benchmark is designed to test for stereotypical colors of common objects, while the second benchmark considers gender stereotypes. The key idea is to compare predictions when the image conforms to the stereotype to predictions when it does not. Our results show that there is significant variation among multimodal models: the recent Transformer-based FLAVA seems to be more sensitive to the choice of image and less affected by stereotypes than older CNN-based models such as VisualBERT and LXMERT. This effect is more discernible in this type of controlled setting than in traditional evaluations where we do not know whether the model relied on the stereotype or the visual signal. | 翻訳日:2023-02-06 17:05:18 公開日:2023-02-03 |
| # 複雑なシステムを分離する学習 Learning to Decouple Complex Systems ( http://arxiv.org/abs/2302.01581v1 ) ライセンス: Link先を確認 | Zihan Zhou and Tianshu Yu | (参考訳) 散逸した観測を伴う複素系は、潜在エンティティに対応する複数の単純なサブシステムの混合である。
このようなサブシステムは連続時間領域において異なるダイナミクスを持ちうるため、サブシステム間の複雑な相互作用も時間とともに進化する。
この設定は現実世界では一般的だが、あまり考慮されていない。
本稿では,不規則にサンプリングされた連続観測を処理するための複雑なシステムを分離し,この設定下での逐次学習手法を提案する。
このような分離は、各潜在エンティティのダイナミクスを記述するサブシステムだけでなく、時間とともにエンティティ間のインタラクションをキャプチャするメタシステムをもたらす。
具体的には、単純体内で進化するメタシステムは射影微分方程式(ProjDEs)によって支配されると論じる。
さらに,ブレグマン発散の文脈において,神経フレンドリーな射影演算子を解析,提供する。
合成データと実世界のデータセットに関する実験結果は、最先端データに比べて複雑で乱雑なシーケンシャルデータに対して、我々のアプローチの利点を示している。 A complex system with cluttered observations may be a coupled mixture of multiple simple sub-systems corresponding to latent entities. Such sub-systems may hold distinct dynamics in the continuous-time domain; therein, complicated interactions between sub-systems also evolve over time. This setting is fairly common in the real world but has been less considered. In this paper, we propose a sequential learning approach under this setting by decoupling a complex system for handling irregularly sampled and cluttered sequential observations. Such decoupling brings about not only subsystems describing the dynamics of each latent entity but also a meta-system capturing the interaction between entities over time. Specifically, we argue that the meta-system evolving within a simplex is governed by projected differential equations (ProjDEs). We further analyze and provide neural-friendly projection operators in the context of Bregman divergence. Experimental results on synthetic and real-world datasets show the advantages of our approach when facing complex and cluttered sequential data compared to the state-of-the-art. | 翻訳日:2023-02-06 17:05:04 公開日:2023-02-03 |
| # 合成ニューラルラディアンス場に基づくセマンティック3次元画像合成と操作 Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field ( http://arxiv.org/abs/2302.01579v1 ) ライセンス: Link先を確認 | Tianxiang Ma, Bingchuan Li, Qian He, Jing Dong, Tieniu Tan | (参考訳) 近年,神経放射場を有する3次元GAN法が急速に発展している。
しかし、現在の手法では、画像全体を総合的な神経放射場としてモデル化し、合成結果の部分的な意味的編集性を制限する。
NeRFは画像画素をピクセル単位でレンダリングするので、空間次元でNeRFを分割することができる。
セマンティック3次元画像合成と操作のための合成ニューラルネットワーク場(CNeRF)を提案する。
CNeRFは、イメージを意味領域に分割し、各領域の独立した神経放射場を学び、最終的にそれらを融合し、完全な画像をレンダリングする。
これにより、合成された意味領域を独立に操作し、他の部分を固定することができる。
さらに、CNeRFは各意味領域内の形状とテクスチャを分離するように設計されている。
最先端の3d認識gan法と比較して,高品質な3d一貫性合成を維持しつつ,細粒度のセマンティック領域操作を可能にする。
アブレーション研究は,本手法が使用する構造と損失関数の有効性を示した。
さらに,実画像インバージョンとマンガのポートレート3d編集実験により,本手法の適用可能性を示す。 Recently 3D-aware GAN methods with neural radiance field have developed rapidly. However, current methods model the whole image as an overall neural radiance field, which limits the partial semantic editability of synthetic results. Since NeRF renders an image pixel by pixel, it is possible to split NeRF in the spatial dimension. We propose a Compositional Neural Radiance Field (CNeRF) for semantic 3D-aware portrait synthesis and manipulation. CNeRF divides the image by semantic regions and learns an independent neural radiance field for each region, and finally fuses them and renders the complete image. Thus we can manipulate the synthesized semantic regions independently, while fixing the other parts unchanged. Furthermore, CNeRF is also designed to decouple shape and texture within each semantic region. Compared to state-of-the-art 3D-aware GAN methods, our approach enables fine-grained semantic region manipulation, while maintaining high-quality 3D-consistent synthesis. The ablation studies show the effectiveness of the structure and loss function used by our method. In addition real image inversion and cartoon portrait 3D editing experiments demonstrate the application potential of our method. | 翻訳日:2023-02-06 17:04:48 公開日:2023-02-03 |
| # コントラスト学習による整数線形プログラムの大規模領域探索 Searching Large Neighborhoods for Integer Linear Programs with Contrastive Learning ( http://arxiv.org/abs/2302.01578v1 ) ライセンス: Link先を確認 | Taoan Huang, Aaron Ferber, Yuandong Tian, Bistra Dilkina, Benoit Steiner | (参考訳) Integer Linear Programs (ILP) は、多数の組合せ最適化問題のモデリングと解決のための強力なツールである。
近年,Large Neborhood Search (LNS) はヒューリスティックアルゴリズムとして,ブランチやバウンドよりも高速にILPの高品質な解を見つけることができることが示されている。
しかし、LNSの性能を最大化する適切なヒューリスティックを見つける方法は未解決の問題である。
本稿では, 予備差, 一次積分, 生存率, 最高性能率などの指標によって測定された複数のICPベンチマークに対して, 最先端のリアルタイム性能を提供する新しい手法CL-LNSを提案する。
具体的には、CL-LNSは、計算が遅い専門家ヒューリスティックから正と負の解サンプルを収集し、対照的な損失を持つ新しい解を学習する。
グラフアテンションネットワークとよりリッチな機能セットを使用して、パフォーマンスをさらに向上しています。 Integer Linear Programs (ILPs) are powerful tools for modeling and solving a large number of combinatorial optimization problems. Recently, it has been shown that Large Neighborhood Search (LNS), as a heuristic algorithm, can find high quality solutions to ILPs faster than Branch and Bound. However, how to find the right heuristics to maximize the performance of LNS remains an open problem. In this paper, we propose a novel approach, CL-LNS, that delivers state-of-the-art anytime performance on several ILP benchmarks measured by metrics including the primal gap, the primal integral, survival rates and the best performing rate. Specifically, CL-LNS collects positive and negative solution samples from an expert heuristic that is slow to compute and learns a new one with a contrastive loss. We use graph attention networks and a richer set of features to further improve its performance. | 翻訳日:2023-02-06 17:04:31 公開日:2023-02-03 |
| # resmem: できることを学び、残りを記憶する ResMem: Learn what you can and memorize the rest ( http://arxiv.org/abs/2302.01576v1 ) ライセンス: Link先を確認 | Zitong Yang, Michal Lukasik, Vaishnavh Nagarajan, Zonglin Li, Ankit Singh Rawat, Manzil Zaheer, Aditya Krishna Menon, Sanjiv Kumar | (参考訳) 現代のニューラルネットワークの印象的な一般化性能は、複雑なトレーニングパターンを暗黙的に記憶する能力に起因する。
これに触発されて、明示的な記憶によるモデル一般化を改善するための新しいメカニズムを探求する。
具体的には,モデル残差を$k$-nearestnext based regressorに適合させることにより,既存の予測モデル(ニューラルネットワークなど)を補強する新しい手法である残差記憶(resmem)アルゴリズムを提案する。
最終的な予測は、元のモデルと適合した残留回帰器の合計である。
構成により、resmemはトレーニングラベルを明示的に記憶することができる。
実験により、ResMemは様々な標準ビジョンと自然言語処理ベンチマークを用いて、元の予測モデルのテストセットの一般化を一貫して改善することを示した。
理論的には、スタイリングされた線形回帰問題を定式化し、ResMemがベース予測器よりも良好なテストリスクをもたらすことを示す。 The impressive generalization performance of modern neural networks is attributed in part to their ability to implicitly memorize complex training patterns. Inspired by this, we explore a novel mechanism to improve model generalization via explicit memorization. Specifically, we propose the residual-memorization (ResMem) algorithm, a new method that augments an existing prediction model (e.g. a neural network) by fitting the model's residuals with a $k$-nearest neighbor based regressor. The final prediction is then the sum of the original model and the fitted residual regressor. By construction, ResMem can explicitly memorize the training labels. Empirically, we show that ResMem consistently improves the test set generalization of the original prediction model across various standard vision and natural language processing benchmarks. Theoretically, we formulate a stylized linear regression problem and rigorously show that ResMem results in a more favorable test risk over the base predictor. | 翻訳日:2023-02-06 17:04:13 公開日:2023-02-03 |
| # 低エネルギー自由電子とキャビティ光子のJaynes-Cummings相互作用 Jaynes-Cummings interaction between low energy free-electrons and cavity photons ( http://arxiv.org/abs/2302.01575v1 ) ライセンス: Link先を確認 | Aviv Karnieli and Shanhui Fan | (参考訳) ジャイネス・カミングス・ハミルトニアン(Jaynes-Cummings Hamiltonian)は、キャビティ量子力学の核であり、様々な量子技術においてユビキタスである。
したがって、このハミルトニアンの様々な側面を実装して制御する能力は極めて重要である。
しかしながら、バウンド電子系に依存する従来の実装は、電子を束縛するクーロンポテンシャルによって基本的に制限されている。
本研究では,誘電体マイクロキャビティに結合した低エネルギー自由電子を用いてjaynes-cummings hamiltonianを実現するための新しい手法を提案する。
提案手法では, 多重光子の放出を抑制し, 空洞モードに結合した2レベル系に効果的に自由電子を変換する量子再コイルを用いる。
本手法は, 単光子生成に有効であり, 単光子生成に有効であることを示す。
次に、キャビティモードの適切な設計によりマルチレベル量子エミッタを実現するための概念を一般化し、決定論的光子ペア生成や、キャビティ光子と自由電子量子ビットの間の量子SWAPゲートさえも可能とする。
N電子の絡み合った対称状態を用いて空洞を駆動すると、 \sqrt(N) の因子による結合強度の増大が達成される。
運動エネルギーと光波への位相マッチングにより、量子自由電子は本質的にエンジニアリング可能な発光波長を持つ多用途エミッタである。
そのため、異なるスペクトル状態におけるフォトニックプラットフォーム間の量子相互接続の新しい可能性への道を開いた。 The Jaynes-Cummings Hamiltonian is at the core of cavity quantum electrodynamics, and is ubiquitous in a variety of quantum technologies. The ability to implement and control the various aspects of this Hamiltonian is thus of paramount importance. However, conventional implementations relying on bound-electron systems are fundamentally limited by the Coulomb potential that bounds the electron, in addition to suffering from practical limitations such as requiring cryogenic temperatures for operation and fabrication inhomogeneity. In this work, we propose theoretically a new approach to realize the Jaynes-Cummings Hamiltonian using low energy free-electrons coupled to dielectric microcavities, and exemplify several quantum technologies made possible by this approach. Our approach utilizes quantum recoil, which causes a large detuning that inhibits the emission of multiple consecutive photons, effectively transforming the free-electron into a two-level system coupled to the cavity mode. We show that this approach can be used for generation of single photons with unity efficiency and high fidelity. We then generalize the concept to achieve a multiple-level quantum emitter through a suitable design of cavity modes, allowing for deterministic photon-pair generation and even a quantum SWAP gate between a cavity photon and a free-electron qubit. An increase in coupling strength by a factor of \sqrt(N) can be achieved when an entangled symmetric state of N electrons is used to drive the cavity. Tunable by their kinetic energy and phase-matching to light waves, quantum free-electrons are inherently versatile emitters with an engineerable emission wavelength. As such, they pave the way towards new possibilities for quantum interconnects between photonic platforms at disparate spectral regimes. | 翻訳日:2023-02-06 17:03:58 公開日:2023-02-03 |
| # 公平な介入に対するオペレーショナル・パースペクティブ--介入の場所と方法 An Operational Perspective to Fairness Interventions: Where and How to Intervene ( http://arxiv.org/abs/2302.01574v1 ) ライセンス: Link先を確認 | Brian Hsu, Xiaotong Chen, Ying Han, Hongseok Namkoong, Kinjal Basu | (参考訳) AIベースの意思決定システムが普及するにつれて、その運用の成功には、予測パフォーマンス、グループ間の格差、センシティブなグループ属性(例えばレース)の保護、エンジニアリングコストといった複数のデシダータのバランスが求められる。
本稿では,上記のデシデラタに関して公平な介入を評価し,文脈化するための包括的枠組みを提案する。
実践的考慮の2つの重要なポイントは、どのように(前、内、後処理)、どのように(敏感なグループデータが使用されるか)介入を導入するかである。
我々は,予測パリティに関する徹底的なベンチマーク研究を用いて,2つの主要なモデルタイプ(XGBoost vs. Neural Net)と10のデータセットに対して,400近い方法論的バリエーションを検証した。
実証研究から得られた方法論的洞察は、フェアネスを中心としたMLワークフローの実践的設計を示唆する。
グループデータを用いることなく予測パリティを実現することは困難であり、モデルトレーニング中にグループデータを必要とする(ただし推論はしない)にもかかわらず、分散ロバストな手法はパレートを著しく改善する。
さらに、普通のXGBoostモデルは、公正な介入を伴うニューラルネットワークをパレートし、モデル誘導バイアスの重要性を強調します。 As AI-based decision systems proliferate, their successful operationalization requires balancing multiple desiderata: predictive performance, disparity across groups, safeguarding sensitive group attributes (e.g., race), and engineering cost. We present a holistic framework for evaluating and contextualizing fairness interventions with respect to the above desiderata. The two key points of practical consideration are where (pre-, in-, post-processing) and how (in what way the sensitive group data is used) the intervention is introduced. We demonstrate our framework using a thorough benchmarking study on predictive parity; we study close to 400 methodological variations across two major model types (XGBoost vs. Neural Net) and ten datasets. Methodological insights derived from our empirical study inform the practical design of ML workflow with fairness as a central concern. We find predictive parity is difficult to achieve without using group data, and despite requiring group data during model training (but not inference), distributionally robust methods provide significant Pareto improvement. Moreover, a plain XGBoost model often Pareto-dominates neural networks with fairness interventions, highlighting the importance of model inductive bias. | 翻訳日:2023-02-06 17:03:27 公開日:2023-02-03 |
| # simple, effective, general: cross-view image geo-localization のための新しいバックボーン Simple, Effective and General: A New Backbone for Cross-view Image Geo-localization ( http://arxiv.org/abs/2302.01572v1 ) ライセンス: Link先を確認 | Yingying Zhu, Hongji Yang, Yuxin Lu and Qiang Huang | (参考訳) 本研究では,クロスビューなジオローカライゼーションタスクに特有な,シンプルで効果的なバックボーンの問題について検討する。
クロスビューなジオローカライズタスクの既存手法は、しばしば特徴付けられる。
1)複雑な方法論
2)GPU消費計算、及び
3) 空中画像と地上画像が中心的又は向きが整っているという厳密な仮定。
上記の3つの課題を解決するために,我々はsimple attention-based image geo-localization network (saig) という新しいバックボーンネットワークを提案する。
提案したSAIGは、パッチ間の長距離相互作用と、マルチヘッド自己注意層とのクロスビュー対応を効果的に表現する。
当社のサイグの"ナローディープ"アーキテクチャは性能の低下を伴わずに機能の豊かさを向上させる一方で,浅く効果的な畳み込みステムは局所性を保ち,境界情報のパッチ化の損失をなくす。
我々のSAIGは、従来よりもはるかにシンプルでありながら、クロスビューなジオローカライゼーションにおける最先端の成果を達成する。
さらに、モデルパラメータの15.9%と出力ディメンションの半数しか最先端のものと比較して、SAIGはよく設計された機能集約モジュールや特徴アライメントアルゴリズムを使わずに、複数のクロスビューデータセットに順応する。
さらに,このSAIGは画像検索ベンチマークの競合点を獲得し,その一般化性を示す。
バックボーンネットワークとして、我々のSAIGは簡単に追従でき、計算的にも軽量であり、現実的なシナリオにおいて有意義である。
さらに,空間情報を低次元空間に混合・投影して特徴記述子を生成する,SMD (Spatial-Mixed Feature aggregate moDule) を提案する(このコードはhttps://github.com/yanghongji 2007/SAIGで公開されている)。 In this work, we aim at an important but less explored problem of a simple yet effective backbone specific for cross-view geo-localization task. Existing methods for cross-view geo-localization tasks are frequently characterized by 1) complicated methodologies, 2) GPU-consuming computations, and 3) a stringent assumption that aerial and ground images are centrally or orientation aligned. To address the above three challenges for cross-view image matching, we propose a new backbone network, named Simple Attention-based Image Geo-localization network (SAIG). The proposed SAIG effectively represents long-range interactions among patches as well as cross-view correspondence with multi-head self-attention layers. The "narrow-deep" architecture of our SAIG improves the feature richness without degradation in performance, while its shallow and effective convolutional stem preserves the locality, eliminating the loss of patchify boundary information. Our SAIG achieves state-of-the-art results on cross-view geo-localization, while being far simpler than previous works. Furthermore, with only 15.9% of the model parameters and half of the output dimension compared to the state-of-the-art, the SAIG adapts well across multiple cross-view datasets without employing any well-designed feature aggregation modules or feature alignment algorithms. In addition, our SAIG attains competitive scores on image retrieval benchmarks, further demonstrating its generalizability. As a backbone network, our SAIG is both easy to follow and computationally lightweight, which is meaningful in practical scenario. Moreover, we propose a simple Spatial-Mixed feature aggregation moDule (SMD) that can mix and project spatial information into a low-dimensional space to generate feature descriptors... (The code is available at https://github.com/yanghongji2007/SAIG) | 翻訳日:2023-02-06 17:03:04 公開日:2023-02-03 |
| # マルチリゾリューションハッシュ符号化のためのロバストカメラポース微細化 Robust Camera Pose Refinement for Multi-Resolution Hash Encoding ( http://arxiv.org/abs/2302.01571v1 ) ライセンス: Link先を確認 | Hwan Heo, Taekyung Kim, Jiyoung Lee, Jaewon Lee, Soohyun Kim, Hyunwoo J. Kim, Jin-Hwa Kim | (参考訳) 最近では、NeRFなどのニューラルレンダリングの計算コストを削減するために、マルチレゾリューションハッシュ符号化が提案されている。
この方法は、与えられたシーンのニューラルなレンダリングに対して正確なカメラポーズを必要とする。
しかし、カメラポーズと3Dシーンを協調的に最適化する従来の手法とは対照的に、マルチレゾリューションハッシュを符号化したナイーブ勾配カメラポーズ改善法は、性能が著しく低下する。
本論文では,高効率マルチレゾリューションハッシュ符号化を用いたカメラポーズの校正と幾何表現の学習のための統合最適化アルゴリズムを提案する。
カメラの登録に干渉するハッシュ符号化の発振勾配流れを示すため,スムーズな補間重み付けを用いてハッシュグリッドをまたいだレイサンプリングの勾配振動を安定化させることにより,この問題に対処する。
さらに、カリキュラムトレーニング手順は、レベルワイズハッシュエンコーディングを学習し、さらにポーズリファインメントを増加させるのに役立つ。
新規視点合成データセットの実験により、初期カメラのポーズが未知であっても、我々の学習フレームワークが最先端の性能とニューラルレンダリングの迅速な収束を達成することを確認した。 Multi-resolution hash encoding has recently been proposed to reduce the computational cost of neural renderings, such as NeRF. This method requires accurate camera poses for the neural renderings of given scenes. However, contrary to previous methods jointly optimizing camera poses and 3D scenes, the naive gradient-based camera pose refinement method using multi-resolution hash encoding severely deteriorates performance. We propose a joint optimization algorithm to calibrate the camera pose and learn a geometric representation using efficient multi-resolution hash encoding. Showing that the oscillating gradient flows of hash encoding interfere with the registration of camera poses, our method addresses the issue by utilizing smooth interpolation weighting to stabilize the gradient oscillation for the ray samplings across hash grids. Moreover, the curriculum training procedure helps to learn the level-wise hash encoding, further increasing the pose refinement. Experiments on the novel-view synthesis datasets validate that our learning frameworks achieve state-of-the-art performance and rapid convergence of neural rendering, even when initial camera poses are unknown. | 翻訳日:2023-02-06 17:02:31 公開日:2023-02-03 |
| # CFFT-GAN: 画像変換用クロスドメイン機能融合変換器 CFFT-GAN: Cross-domain Feature Fusion Transformer for Exemplar-based Image Translation ( http://arxiv.org/abs/2302.01608v1 ) ライセンス: Link先を確認 | Tianxiang Ma, Bingchuan Li, Wei Liu, Miao Hua, Jing Dong, Tieniu Tan | (参考訳) Exemplar-based image translationは、特定の入力画像に条件付けしながら、所望のスタイルで画像を生成するタスクを指す。
現在の手法のほとんどは、2つの入力ドメイン間の対応を学習し、ドメイン内の情報のマイニングを欠いている。
本稿では,2つのドメイン機能全体を考慮し,ドメイン間対応とドメイン内潜在情報インタラクションの両方を学習することで,より汎用的な学習手法を提案する。
具体的には,ドメイン間およびドメイン内機能融合を学習するクロスドメイン機能融合トランス(cfft)を提案する。
CFFTに基づいて、提案したCFFT-GANは、典型的な画像変換によく機能する。
さらに、CFFT-GANはCFFTモジュールをカスケードすることで、複数のドメインから機能を分離および融合することができる。
画像翻訳タスクの定量的および定性的な実験を行い,本手法が最先端の手法よりも優れていることを示す。
アブレーション研究は,提案するCFFTの重要性を示している。
応用実験結果は本手法の可能性を反映したものである。 Exemplar-based image translation refers to the task of generating images with the desired style, while conditioning on certain input image. Most of the current methods learn the correspondence between two input domains and lack the mining of information within the domains. In this paper, we propose a more general learning approach by considering two domain features as a whole and learning both inter-domain correspondence and intra-domain potential information interactions. Specifically, we propose a Cross-domain Feature Fusion Transformer (CFFT) to learn inter- and intra-domain feature fusion. Based on CFFT, the proposed CFFT-GAN works well on exemplar-based image translation. Moreover, CFFT-GAN is able to decouple and fuse features from multiple domains by cascading CFFT modules. We conduct rich quantitative and qualitative experiments on several image translation tasks, and the results demonstrate the superiority of our approach compared to state-of-the-art methods. Ablation studies show the importance of our proposed CFFT. Application experimental results reflect the potential of our method. | 翻訳日:2023-02-06 16:56:48 公開日:2023-02-03 |
| # 人間とのゼロショット協力を学習する Learning Zero-Shot Cooperation with Humans, Assuming Humans Are Biased ( http://arxiv.org/abs/2302.01605v1 ) ライセンス: Link先を確認 | Chao Yu, Jiaxuan Gao, Weilin Liu, Botian Xu, Hao Tang, Jiaqi Yang, Yu Wang, Yi Wu | (参考訳) 近年,マルチエージェント強化学習(MARL)を用いて,人的データを用いることなく,ゼロショット方式で人間と協力できるエージェントを訓練する傾向にある。
典型的なワークフローは、最初に繰り返しセルフプレイ(sp)を実行してポリシープールを構築し、それからこのプールに対する最終的な適応ポリシーをトレーニングすることです。
このフレームワークの重要な制限は、プール内のすべてのポリシーがw.r.t.環境報酬関数に最適化されていることである。
しかしながら、人間の目的は、環境報酬と大きく異なる、自身の好みによってかなり偏っていることが多い。
本稿では,人間バイアスを自己再生目的の隠れ報酬関数として明示的にモデル化する,より汎用的なフレームワークである隠れ利用セルフプレイ(hsp)を提案する。
報酬空間を線形関数として近似することにより、HSPは偏りのある拡張ポリシープールを生成する効果的な手法を採用する。
我々はhspを過剰調理したベンチマークで評価する。
実験結果から,HSP法は学習した人体モデル,手書きによる政策,実際の人間との協調において,ベースラインよりも高い報酬が得られることが示された。
HSP政策はまた、人間のフィードバックに基づく最も支援的な政策として評価されている。 There is a recent trend of applying multi-agent reinforcement learning (MARL) to train an agent that can cooperate with humans in a zero-shot fashion without using any human data. The typical workflow is to first repeatedly run self-play (SP) to build a policy pool and then train the final adaptive policy against this pool. A crucial limitation of this framework is that every policy in the pool is optimized w.r.t. the environment reward function, which implicitly assumes that the testing partners of the adaptive policy will be precisely optimizing the same reward function as well. However, human objectives are often substantially biased according to their own preferences, which can differ greatly from the environment reward. We propose a more general framework, Hidden-Utility Self-Play (HSP), which explicitly models human biases as hidden reward functions in the self-play objective. By approximating the reward space as linear functions, HSP adopts an effective technique to generate an augmented policy pool with biased policies. We evaluate HSP on the Overcooked benchmark. Empirical results show that our HSP method produces higher rewards than baselines when cooperating with learned human models, manually scripted policies, and real humans. The HSP policy is also rated as the most assistive policy based on human feedback. | 翻訳日:2023-02-06 16:56:32 公開日:2023-02-03 |
| # 心拍変動と呼吸速度を用いたドライバーストレス検出のための特徴選択法 A Feature Selection Method for Driver Stress Detection Using Heart Rate Variability and Breathing Rate ( http://arxiv.org/abs/2302.01602v1 ) ライセンス: Link先を確認 | Ashkan Parsi, David O'Callaghan, Joseph Lemley | (参考訳) ドライバーのストレスは、自動車事故や死亡の主な原因である。
さらに、持続的ストレスは健康上の問題であり、高血圧やその他の心血管系の疾患に寄与する。
ストレスは心拍数や呼吸速度に測定可能な影響を与え、ストレスレベルはそのような測定値から推測できる。
ガルバニック皮膚反応は、生理的および心理的ストレスおよび極端な感情によって引き起こされる呼吸を測定するための一般的なテストである。
本稿では, 真理応力レベルを推定するために, ガルバニック皮膚反応を用いる。
次に、最小冗長-最大相関法に基づく特徴選択法を、複数の心拍変動および呼吸速度指標に適用し、ストレス検出に使用する新規かつ最適な組み合わせを同定する。
これらの特徴とともに、ラジアル基底関数カーネルを用いたサポートベクターマシンアルゴリズムを用いて、ストレスを確実に予測した。
提案手法は,ターゲットデータセットにおいて高い精度を達成している。 Driver stress is a major cause of car accidents and death worldwide. Furthermore, persistent stress is a health problem, contributing to hypertension and other diseases of the cardiovascular system. Stress has a measurable impact on heart and breathing rates and stress levels can be inferred from such measurements. Galvanic skin response is a common test to measure the perspiration caused by both physiological and psychological stress, as well as extreme emotions. In this paper, galvanic skin response is used to estimate the ground truth stress levels. A feature selection technique based on the minimal redundancy-maximal relevance method is then applied to multiple heart rate variability and breathing rate metrics to identify a novel and optimal combination for use in detecting stress. The support vector machine algorithm with a radial basis function kernel was used along with these features to reliably predict stress. The proposed method has achieved a high level of accuracy on the target dataset. | 翻訳日:2023-02-06 16:56:13 公開日:2023-02-03 |
| # SCCAM: 限られた断層サンプルを用いたアンテホック・インタプリタブル・フォールト診断のためのコントラスト・コンボリューション・アテンション機構 SCCAM: Supervised Contrastive Convolutional Attention Mechanism for Ante-hoc Interpretable Fault Diagnosis with Limited Fault Samples ( http://arxiv.org/abs/2302.01599v1 ) ライセンス: Link先を確認 | Mengxuan Li, Peng Peng, Jingxin Zhang, Hongwei Wang, Weiming Shen | (参考訳) 実際の産業プロセスでは, 手順が主に正常条件であり, 故障がほとんど起こらないため, 限られた断層試料から断層診断を行う必要がある。
故障診断の分野では注目メカニズムが普及しているが,既存の注意に基づく手法は,上述の実用化に満足していない。
第一に、トランスフォーマーのような純粋な注意に基づくアーキテクチャは、誘導バイアスの欠如を相殺するために大量の障害サンプルを必要とするため、限られた障害サンプルでは不十分である。
さらに,故障分類の貧弱なジレンマは,既存の注意に基づく手法による根本原因同定の失敗に繋がる。
上記の問題に対処するため,本研究では, 限定された断層試料下での根本原因解析を初めて解決する, アンテホック解釈性を有する教師付きコントラクティブ・コンボリューショナル・アテンション機構(SCCAM)を革新的に提案する。
提案手法はテネシー・イーストマン工業プロセスベンチマークを用いて, 連続加熱槽加熱機の試験を行った。
追加検証のためのバランスのとれたシナリオと、限られた障害サンプル(不均衡なシナリオとロングテールシナリオ)を持つ2つのシナリオを含む、3つの一般的な障害診断シナリオがカバーされている。
その結果,提案手法は,故障分類や根本原因解析における最先端手法に比べ,優れた性能が得られることがわかった。 In real industrial processes, fault diagnosis methods are required to learn from limited fault samples since the procedures are mainly under normal conditions and the faults rarely occur. Although attention mechanisms have become popular in the field of fault diagnosis, the existing attention-based methods are still unsatisfying for the above practical applications. First, pure attention-based architectures like transformers need a large number of fault samples to offset the lack of inductive biases thus performing poorly under limited fault samples. Moreover, the poor fault classification dilemma further leads to the failure of the existing attention-based methods to identify the root causes. To address the aforementioned issues, we innovatively propose a supervised contrastive convolutional attention mechanism (SCCAM) with ante-hoc interpretability, which solves the root cause analysis problem under limited fault samples for the first time. The proposed SCCAM method is tested on a continuous stirred tank heater and the Tennessee Eastman industrial process benchmark. Three common fault diagnosis scenarios are covered, including a balanced scenario for additional verification and two scenarios with limited fault samples (i.e., imbalanced scenario and long-tail scenario). The comprehensive results demonstrate that the proposed SCCAM method can achieve better performance compared with the state-of-the-art methods on fault classification and root cause analysis. | 翻訳日:2023-02-06 16:56:00 公開日:2023-02-03 |
| # 共制御遺伝子同定のためのAFSを用いたファジィ二クラスタリングアルゴリズム A Novel Fuzzy Bi-Clustering Algorithm with AFS for Identification of Co-Regulated Genes ( http://arxiv.org/abs/2302.01596v1 ) ライセンス: Link先を確認 | Kaijie Xu | (参考訳) 転写調節機構を理解するための重要なステップは、共調節遺伝子とその転写因子結合部位(TFBS)の同定である。
効果的な実験室アッセイに加え、共発現遺伝子の検出のための様々な二クラスターアルゴリズムが開発されている。
バイクラスター法(bi-clustering method)は、遺伝子発現データに適用された場合、実験条件の特定サブセットの下で類似した発現パターンを持つ遺伝子のサブグループを発見するために用いられる。
axiomatic fuzzy set (afs) 理論を用いて、遺伝子発現データのファジィ分割行列を2つ構築することにより、共調節遺伝子を同定するための新しいファジィバイクラスター化アルゴリズムを提案する。
具体的には、AFSのサブ参照関係理論により、遺伝子発現データを2つのファジィ分割行列に変換する。
行列の1つは、遺伝子を宇宙として、条件を概念として、もう1つは遺伝子を概念として、条件を宇宙として考える。
共調節遺伝子(bi-clusters)の同定は2つの分配行列上で同時に行われる。
次に、分割行列に基づいてファジィに基づく新しい類似度基準を定義し、循環最適化アルゴリズムにより、表現レベルで重要な二クラスタを発見する。
上記の手順により、生成されたbiクラスタは従来のbiクラスタ法で抽出されたものよりも重要な表現値を持つことが保証される。
最後に,一般に利用可能な実マイクロアレイデータセット上での3つのよく知られたバイクラスタ化アルゴリズムの性能評価を行った。
実験結果は理論解析と一致し,提案手法は遺伝子発現データを事前に知ることなく,共調節遺伝子を効果的に検出できることを示した。 The identification of co-regulated genes and their transcription-factor binding sites (TFBS) are the key steps toward understanding transcription regulation. In addition to effective laboratory assays, various bi-clustering algorithms for detection of the co-expressed genes have been developed. Bi-clustering methods are used to discover subgroups of genes with similar expression patterns under to-be-identified subsets of experimental conditions when applied to gene expression data. By building two fuzzy partition matrices of the gene expression data with the Axiomatic Fuzzy Set (AFS) theory, this paper proposes a novel fuzzy bi-clustering algorithm for identification of co-regulated genes. Specifically, the gene expression data is transformed into two fuzzy partition matrices via sub-preference relations theory of AFS at first. One of the matrices is considering the genes as the universe and the conditions as the concept, the other one is considering the genes as the concept and the conditions as the universe. The identification of the co-regulated genes (bi-clusters) is carried out on the two partition matrices at the same time. Then, a novel fuzzy-based similarity criterion is defined based on the partition matrixes, and a cyclic optimization algorithm is designed to discover the significant bi-clusters at expression level. The above procedures guarantee that the generated bi-clusters have more significant expression values than that of extracted by the traditional bi-clustering methods. Finally, the performance of the proposed method is evaluated with the performance of the three well-known bi-clustering algorithms on publicly available real microarray datasets. The experimental results are in agreement with the theoretical analysis and show that the proposed algorithm can effectively detect the co-regulated genes without any prior knowledge of the gene expression data. | 翻訳日:2023-02-06 16:55:31 公開日:2023-02-03 |
| # 動的不確実性を考慮したサイバーシステム防御のための深層強化学習 Deep Reinforcement Learning for Cyber System Defense under Dynamic Adversarial Uncertainties ( http://arxiv.org/abs/2302.01595v1 ) ライセンス: Link先を確認 | Ashutosh Dutta, Samrat Chatterjee, Arnab Bhattacharya, Mahantesh Halappanavar | (参考訳) 自律型サイバーシステム防衛戦略と実世界でのアクションレコメンデーションの開発は困難であり、システム状態の不確実性と攻撃防御のダイナミクスを特徴づける。
サイバーシステム操作の損失を最小限に抑えつつ、進化する敵行動に動的に適応する、積極的なコンテキスト認識、防御対策を学ぶためのデータ駆動型深層強化学習(drl)フレームワークを提案する。
動的防御最適化問題は、異なる種類の敵に対して異なるレベルのスキルと永続性を持つ複数の保護姿勢で定式化される。
カスタムシミュレーション環境を開発し、4つのモデルフリーDRLアルゴリズムの性能を現実的なマルチステージ攻撃シーケンスに対して体系的に評価する実験を行った。
本研究は,多段階攻撃プロファイルとシステム不確実性に基づくプロアクティブサイバー防御のためのDRLアルゴリズムの有効性を示唆する。 Development of autonomous cyber system defense strategies and action recommendations in the real-world is challenging, and includes characterizing system state uncertainties and attack-defense dynamics. We propose a data-driven deep reinforcement learning (DRL) framework to learn proactive, context-aware, defense countermeasures that dynamically adapt to evolving adversarial behaviors while minimizing loss of cyber system operations. A dynamic defense optimization problem is formulated with multiple protective postures against different types of adversaries with varying levels of skill and persistence. A custom simulation environment was developed and experiments were devised to systematically evaluate the performance of four model-free DRL algorithms against realistic, multi-stage attack sequences. Our results suggest the efficacy of DRL algorithms for proactive cyber defense under multi-stage attack profiles and system uncertainties. | 翻訳日:2023-02-06 16:55:07 公開日:2023-02-03 |
| # 露骨箱検出によるエンドツーエンドマルチパーソンポーズ推定 Explicit Box Detection Unifies End-to-End Multi-Person Pose Estimation ( http://arxiv.org/abs/2302.01593v1 ) ライセンス: Link先を確認 | Jie Yang, Ailing Zeng, Shilong Liu, Feng Li, Ruimao Zhang, Lei Zhang | (参考訳) 本稿では,人間レベル(グローバル)とキーポイントレベル(ローカル)の情報間の文脈学習を統一する,ED-Poseと呼ばれる多人数ポス推定のための明示的ボックス検出によるエンドツーエンドフレームワークを提案する。
ed-poseはこのタスクを、統一表現と回帰監督を備えた2つの明示的なボックス検出プロセスとして再検討している。
まず,グローバル特徴を抽出するために,符号化トークンからの人間検出デコーダを導入する。
後者のキーポイント検出の優れた初期化を提供し、トレーニングプロセスの収束を早めることができる。
次に,キーポイント近傍に文脈情報を導入するために,ポーズ推定をキーポイントボックス検出問題として捉え,各キーポイントのボックス位置と内容の両方を学習する。
ヒューマン・ツー・キーポイント検出デコーダは、人間とキーポイントの機能間のインタラクティブな学習戦略を採用し、グローバルとローカルの機能集約をさらに強化する。
一般に、ED-Poseは後処理や密集したヒートマップの監視なしに概念的にシンプルである。
2段法と1段法に比較して,有効性と効率性を示す。
特に、明示的なボックス検出により、COCOでは4.5 AP、CrowdPoseでは9.9 APのポーズ推定性能が向上する。
L1レグレッションロスの完全なエンドツーエンドフレームワークとして、ED-Poseは、同じバックボーン下のヒートマップベースのトップダウンメソッドをCOCOの1.2 APで上回り、ベルやホイッスルなしでCrowdPoseの76.6 APで最先端を達成する。
コードはhttps://github.com/IDEA-Research/ED-Poseで入手できる。 This paper presents a novel end-to-end framework with Explicit box Detection for multi-person Pose estimation, called ED-Pose, where it unifies the contextual learning between human-level (global) and keypoint-level (local) information. Different from previous one-stage methods, ED-Pose re-considers this task as two explicit box detection processes with a unified representation and regression supervision. First, we introduce a human detection decoder from encoded tokens to extract global features. It can provide a good initialization for the latter keypoint detection, making the training process converge fast. Second, to bring in contextual information near keypoints, we regard pose estimation as a keypoint box detection problem to learn both box positions and contents for each keypoint. A human-to-keypoint detection decoder adopts an interactive learning strategy between human and keypoint features to further enhance global and local feature aggregation. In general, ED-Pose is conceptually simple without post-processing and dense heatmap supervision. It demonstrates its effectiveness and efficiency compared with both two-stage and one-stage methods. Notably, explicit box detection boosts the pose estimation performance by 4.5 AP on COCO and 9.9 AP on CrowdPose. For the first time, as a fully end-to-end framework with a L1 regression loss, ED-Pose surpasses heatmap-based Top-down methods under the same backbone by 1.2 AP on COCO and achieves the state-of-the-art with 76.6 AP on CrowdPose without bells and whistles. Code is available at https://github.com/IDEA-Research/ED-Pose. | 翻訳日:2023-02-06 16:54:53 公開日:2023-02-03 |
| # スピンチェーン量子熱エンジンにおける多体強化 Many-body enhancement in a spin-chain quantum heat engine ( http://arxiv.org/abs/2302.01590v1 ) ライセンス: Link先を確認 | L. A. Williamson and Matthew J. Davis | (参考訳) 強磁性相互作用は低温での量子スピンチェーンエンジンの断熱性能を向上させることができる。
作業出力の増大は特に顕著であり、相互作用強度とともに指数関数的に増加する。
この性能向上は常磁性相で発生し、接地状態と第一励起状態のみを考慮して定性的に説明される。
温度が上昇すると、より高いエネルギー準位の熱占有は性能を低下させる。
これらの熱揺らぎは長距離相互作用において最小であり、高い効率をもたらす。
ダイアバティックワーク抽出は、量子摩擦により性能を低下させる。
弱い相互作用に対する摩擦を緩和できる近似的、実験的に実現可能な反断熱駆動を同定する。 We show that ferromagnetic interactions can enhance the adiabatic performance of a quantum spin chain engine at low temperatures. The enhancement in work output is particular pronounced, increasing exponentially with interaction strength. The performance enhancement occurs in the paramagnetic phase and is qualitatively explained by considering just the ground and first excited state, in which case the system exhibits bipartite entanglement. As the temperature is increased, thermal occupation of higher energy levels diminishes performance. We find that these thermal fluctuations are smallest for long-range interactions, resulting in the highest efficiency. Diabatic work extraction degrades performance due to quantum friction. We identify an approximate, experimentally realisable counterdiabatic drive that can mitigate friction for weak interactions. | 翻訳日:2023-02-06 16:54:26 公開日:2023-02-03 |
| # Bioformer: バイオメディカルテキストマイニングのための効率的なトランスフォーマー言語モデル Bioformer: an efficient transformer language model for biomedical text mining ( http://arxiv.org/abs/2302.01588v1 ) ライセンス: Link先を確認 | Li Fang, Qingyu Chen, Chih-Hsuan Wei, Zhiyong Lu, Kai Wang | (参考訳) Bidirectional Encoder Representations from Transformers (BERT)のような事前訓練された言語モデルは、自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。
近年、BERTは生物医学領域に適応している。
有効性にもかかわらず、これらのモデルは数億のパラメータを持ち、大規模NLPアプリケーションに適用すると計算コストがかかる。
BERTのパラメータ数は,性能にわずかに影響を及ぼすことなく,劇的に削減できるという仮説を立てた。
本研究では,バイオメディカルテキストマイニングのための小型BERTモデルであるBioformerを提案する。
BERTBaseと比較してモデルサイズを60%削減したBioformer8LとBioformer16Lという2種類のBioformerモデルを事前学習した。
Bioformerはバイオメディカルな語彙を使用し、PubMedの抽象文やPubMed Centralのフルテキスト記事のスクラッチから事前訓練を受けた。
我々は,BioBERTおよびPubMedBERTを含む既存のバイオメディカルBERTモデルとともに,4つの異なるNLPタスク(名前付きエンティティ認識,関係抽出,質問応答,文書分類)のベンチマークデータセットを用いて,Bioformerの性能を徹底的に評価した。
その結果,Bioformer16LはPubMedBERTよりも0.1%,Bioformer8LはPubMedBERTより0.9%低いことがわかった。
Bioformer16LとBioformer8LはBioBERTBase-v1.1を上回った。
さらに、Bioformer16LとBioformer8LはPubMedBERT/BioBERTBase-v1.1の2-3倍高速である。
BioformerはPubTator Centralにデプロイされ、3500万以上のPubMed抽象化と500万のPubMed Centralフルテキスト記事を提供する。
Bioformerをhttps://github.com/WGLab/bioformerで公開しています。 Pretrained language models such as Bidirectional Encoder Representations from Transformers (BERT) have achieved state-of-the-art performance in natural language processing (NLP) tasks. Recently, BERT has been adapted to the biomedical domain. Despite the effectiveness, these models have hundreds of millions of parameters and are computationally expensive when applied to large-scale NLP applications. We hypothesized that the number of parameters of the original BERT can be dramatically reduced with minor impact on performance. In this study, we present Bioformer, a compact BERT model for biomedical text mining. We pretrained two Bioformer models (named Bioformer8L and Bioformer16L) which reduced the model size by 60% compared to BERTBase. Bioformer uses a biomedical vocabulary and was pre-trained from scratch on PubMed abstracts and PubMed Central full-text articles. We thoroughly evaluated the performance of Bioformer as well as existing biomedical BERT models including BioBERT and PubMedBERT on 15 benchmark datasets of four different biomedical NLP tasks: named entity recognition, relation extraction, question answering and document classification. The results show that with 60% fewer parameters, Bioformer16L is only 0.1% less accurate than PubMedBERT while Bioformer8L is 0.9% less accurate than PubMedBERT. Both Bioformer16L and Bioformer8L outperformed BioBERTBase-v1.1. In addition, Bioformer16L and Bioformer8L are 2-3 fold as fast as PubMedBERT/BioBERTBase-v1.1. Bioformer has been successfully deployed to PubTator Central providing gene annotations over 35 million PubMed abstracts and 5 million PubMed Central full-text articles. We make Bioformer publicly available via https://github.com/WGLab/bioformer, including pre-trained models, datasets, and instructions for downstream use. | 翻訳日:2023-02-06 16:54:18 公開日:2023-02-03 |
| # SegForestNet: 空間分割に基づく空中画像分割 SegForestNet: Spatial-Partitioning-Based Aerial Image Segmentation ( http://arxiv.org/abs/2302.01585v1 ) ライセンス: Link先を確認 | Daniel Gritzner, J\"orn Ostermann | (参考訳) 航空画像解析、特にセマンティックセグメンテーションは、地図の自動作成や更新、都市の成長の追跡、森林破壊の追跡といった応用の基盤である。
これらの用途でよく用いられる真の直交写真では、多くの物体や領域は多角形によってよく近似することができる。
しかし、この事実は最先端のセマンティックセグメンテーションモデルによって利用されることは稀である。
代わりに、ほとんどのモデルは任意の領域形状を許容することにより、予測において不要な自由度を許容する。
そこで我々は,効率的な多角形表現である二分空間分割木を予測するディープラーニングモデルを改良した。
改良には、新しい機能デコーダアーキテクチャと、どちらも廃止される勾配を避ける新しい差別化可能なBSPツリーレンダラーが含まれている。
さらに,予測木によって定義された空間分割を改善するために,新たな損失関数を設計した。
さらに,拡張モデルは複数の木を同時に予測し,クラス固有のセグメンテーションを予測する。
すべての修正を組み合わせることで、小さなバックボーンモデルを使用する場合や、大きなバックボーンモデルを使用する場合の最大20%のモデルパラメータを使用しながら、最先端のパフォーマンスを実現します。 Aerial image analysis, specifically the semantic segmentation thereof, is the basis for applications such as automatically creating and updating maps, tracking city growth, or tracking deforestation. In true orthophotos, which are often used in these applications, many objects and regions can be approximated well by polygons. However, this fact is rarely exploited by state-of-the-art semantic segmentation models. Instead, most models allow unnecessary degrees of freedom in their predictions by allowing arbitrary region shapes. We therefore present a refinement of our deep learning model which predicts binary space partitioning trees, an efficient polygon representation. The refinements include a new feature decoder architecture and a new differentiable BSP tree renderer which both avoid vanishing gradients. Additionally, we designed a novel loss function specifically designed to improve the spatial partitioning defined by the predicted trees. Furthermore, our expanded model can predict multiple trees at once and thus can predict class-specific segmentations. Taking all modifications together, our model achieves state-of-the-art performance while using up to 60% fewer model parameters when using a small backbone model or up to 20% fewer model parameters when using a large backbone model. | 翻訳日:2023-02-06 16:53:48 公開日:2023-02-03 |
| # 単一画像超解像に対する統計的制約付き内部法 A statistically constrained internal method for single image super-resolution ( http://arxiv.org/abs/2302.01648v1 ) ライセンス: Link先を確認 | Pierrick Chatillon, Yann Gousseau, Sidonie Lefebvre | (参考訳) 近年,シングルイメージ超解像(SR)の深層学習手法が注目されている。
特に、様々な論文は学習段階が1つの画像上で実行され、いわゆる内部的アプローチとなることを示している。
SinGAN法はこれらのコントリビューションの一つであり、手元の画像上で画像パッチの分布を学習し、より細かいスケールで伝播する。
現在では、最終的な画像に何らかの統計的事前を仮定できる状況がある。
特に、多くの自然現象は、雲やその他のテクスチャ画像のようなフーリエスペクトルのパワー則を持つ画像を生成する。
本稿では,singanの学習したアップサンプリング手順を制約することにより,このような事前情報を内部超解像手法に組み込む方法を示す。
本研究では,フーリエパワースペクトル,カラーヒストグラム,アップサンプリングスキームの一貫性に関する様々な制約について考察する。
これらの制約が実際に満たされていることを様々な実験で示し、また提案手法によりいくつかの知覚的品質対策を改善できることを示した。 Deep learning based methods for single-image super-resolution (SR) have drawn a lot of attention lately. In particular, various papers have shown that the learning stage can be performed on a single image, resulting in the so-called internal approaches. The SinGAN method is one of these contributions, where the distribution of image patches is learnt on the image at hand and propagated at finer scales. Now, there are situations where some statistical a priori can be assumed for the final image. In particular, many natural phenomena yield images having power law Fourier spectrum, such as clouds and other texture images. In this work, we show how such a priori information can be integrated into an internal super-resolution approach, by constraining the learned up-sampling procedure of SinGAN. We consider various types of constraints, related to the Fourier power spectrum, the color histograms and the consistency of the upsampling scheme. We demonstrate on various experiments that these constraints are indeed satisfied, but also that some perceptual quality measures can be improved by the proposed approach. | 翻訳日:2023-02-06 16:46:53 公開日:2023-02-03 |
| # ブロックワイズ自己教師付き学習の大規模化 Blockwise Self-Supervised Learning at Scale ( http://arxiv.org/abs/2302.01647v1 ) ライセンス: Link先を確認 | Shoaib Ahmed Siddiqui, David Krueger, Yann LeCun, St\'ephane Deny | (参考訳) 現在の最先端のディープネットワークは、すべてバックプロパゲーションによって駆動される。
本稿では,自己教師型学習における最新の発展を生かして,ブロックワイズ学習ルールという形で完全なバックプロパゲーションに代わる方法を検討する。
本稿では,各ブロックにおけるBarlow Twinsの損失関数とResNet-50の4つの主要ブロックを独立にトレーニングしたブロックワイド事前学習手順が,ImageNet上でのエンドツーエンドのバックプロパゲーションとほぼ同等であることを示す: ブロックワイド事前学習モデル上でトレーニングした線形プローブは,トップ1分類精度70.48%,エンドツーエンド事前学習ネットワークの精度1.1%(精度71.57%)しか得られない。
我々は,本手法における異なるコンポーネントの影響を理解するために広範な実験を行い,ブロックワイズパラダイムへの自己教師付き学習の適応を探究し,ハードウェア設計から神経科学まで,ローカル学習ルールを大規模ネットワークにスケールするための重要な手段を徹底的に理解する。 Current state-of-the-art deep networks are all powered by backpropagation. In this paper, we explore alternatives to full backpropagation in the form of blockwise learning rules, leveraging the latest developments in self-supervised learning. We show that a blockwise pretraining procedure consisting of training independently the 4 main blocks of layers of a ResNet-50 with Barlow Twins' loss function at each block performs almost as well as end-to-end backpropagation on ImageNet: a linear probe trained on top of our blockwise pretrained model obtains a top-1 classification accuracy of 70.48%, only 1.1% below the accuracy of an end-to-end pretrained network (71.57% accuracy). We perform extensive experiments to understand the impact of different components within our method and explore a variety of adaptations of self-supervised learning to the blockwise paradigm, building an exhaustive understanding of the critical avenues for scaling local learning rules to large networks, with implications ranging from hardware design to neuroscience. | 翻訳日:2023-02-06 16:46:35 公開日:2023-02-03 |
| # Cluster-CAM:画像分類におけるCNNの判断のクラスタ重み付き視覚解釈 Cluster-CAM: Cluster-Weighted Visual Interpretation of CNNs' Decision in Image Classification ( http://arxiv.org/abs/2302.01642v1 ) ライセンス: Link先を確認 | Zhenpeng Feng, Hongbing Ji, Milos Dakovic, Xiyang Cui, Mingzhe Zhu, Ljubisa Stankovic | (参考訳) コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)の驚異的な成功にもかかわらず、CNNのメカニズムには明確な解釈がない。
現在、CNNの決定を解釈する有名な可視化技術であるクラスアクティベーションマッピング(CAM)が注目されている。
勾配に基づくCAMは効率が良く、性能は勾配の消滅と爆発の影響が大きい。
対照的に、勾配のないCAMは計算勾配を避けてより理解しやすい結果が得られる。
しかし、画像ごとに数百の前方干渉が必要なため、既存の勾配のないCAMは非常に時間がかかる。
本稿では,効率的な勾配のないCNN解釈アルゴリズムであるCluster-CAMを提案する。
クラスタCAMは、フィーチャーマップを教師なしの方法でクラスタに分割することで、前方伝播の時間を著しく短縮することができる。
さらに,クラスタ化特徴マップから認知ベースマップと認知シグナをフォージする巧妙な戦略を提案する。
最後のサラエンスヒートマップは、上記の認知マップをマージすることで計算される。
定性的な結果は、Cluster-CAMが既存のCAMよりも正確に人間の認識にマッチするヒートマップを作成できることを示している。
定量的評価により,クラスタCAMの有効性と効率性がさらに向上した。 Despite the tremendous success of convolutional neural networks (CNNs) in computer vision, the mechanism of CNNs still lacks clear interpretation. Currently, class activation mapping (CAM), a famous visualization technique to interpret CNN's decision, has drawn increasing attention. Gradient-based CAMs are efficient while the performance is heavily affected by gradient vanishing and exploding. In contrast, gradient-free CAMs can avoid computing gradients to produce more understandable results. However, existing gradient-free CAMs are quite time-consuming because hundreds of forward interference per image are required. In this paper, we proposed Cluster-CAM, an effective and efficient gradient-free CNN interpretation algorithm. Cluster-CAM can significantly reduce the times of forward propagation by splitting the feature maps into clusters in an unsupervised manner. Furthermore, we propose an artful strategy to forge a cognition-base map and cognition-scissors from clustered feature maps. The final salience heatmap will be computed by merging the above cognition maps. Qualitative results conspicuously show that Cluster-CAM can produce heatmaps where the highlighted regions match the human's cognition more precisely than existing CAMs. The quantitative evaluation further demonstrates the superiority of Cluster-CAM in both effectiveness and efficiency. | 翻訳日:2023-02-06 16:46:13 公開日:2023-02-03 |
| # ニューラルネットワークの共生と生体ニューロンのモデル--トレーニングとテスト Symbiosis of an artificial neural network and models of biological neurons: training and testing ( http://arxiv.org/abs/2302.01636v1 ) ライセンス: Link先を確認 | Tatyana Bogatenko, Konstantin Sergeev, Andrei Slepnev, J\"urgen Kurths, Nadezhda Semenova | (参考訳) 本稿では,生物学的ニューロンの数学的モデルからなる人工ニューラルネットワーク(ANN)の特性の作成と同定の可能性を示す。
FitzHugh--Nagumo (FHN) システムは、単純化されたニューロン活性を示すモデルの一例として用いられる。
まず、生物ニューロンをANN内に埋め込む方法を明らかにするために、非線形ニューロンを用いてANNを訓練し、MNISTデータベースによる基本的な画像認識問題を解く。
結局のところ、FHNシステムの内部にANNを組み込むことで、トレーニングを成功させ、その精度が向上することを示す。
これまで行われてきたことは、アナログニューラルネットワークの方向性という観点で、人工ニューロンを生物学的なニューロンに置き換えられるという大きなチャンスを開く。
\end{abstract} In this paper we show the possibility of creating and identifying the features of an artificial neural network (ANN) which consists of mathematical models of biological neurons. The FitzHugh--Nagumo (FHN) system is used as an example of model demonstrating simplified neuron activity. First, in order to reveal how biological neurons can be embedded within an ANN, we train the ANN with nonlinear neurons to solve a a basic image recognition problem with MNIST database; and next, we describe how FHN systems can be introduced into this trained ANN. After all, we show that an ANN with FHN systems inside can be successfully trained and its accuracy becomes larger. What has been done above opens up great opportunities in terms of the direction of analog neural networks, in which artificial neurons can be replaced by biological ones. \end{abstract} | 翻訳日:2023-02-06 16:45:55 公開日:2023-02-03 |
| # 非IIDデータを用いたスプリット学習の収束解析 Convergence Analysis of Split Learning on Non-IID Data ( http://arxiv.org/abs/2302.01633v1 ) ライセンス: Link先を確認 | Yipeng Li and Xinchen Lyu | (参考訳) スプリットラーニング(SL)はフェデレートラーニング(FL)の有望なバリエーションのひとつで、AIモデルをクライアントとサーバで共同で分割し、トレーニングする。
計算集約的な部分をサーバにオフロードすることで、SLはリソース制約のあるクライアントでの効率的なモデルトレーニングを可能にします。
その急激な応用にもかかわらず、SLは非IIDデータに対する厳密な収束解析を欠いている。
本稿では,非IIDデータにおける非凸目標に対して,SLが$\mathcal{O}(1/\sqrt{R})$収束率を示すことを最初に証明する。
導出コンバージェンスの結果は、SL(例えば、データ不均一性と同期間隔)におけるいくつかの重要な要素の影響を理解するのに役立つ。
さらに, FLの収束結果と比較すると, 非IIDデータのトレーニングラウンドにおいて, SLの保証はFLよりも悪いことがわかった。
実験結果は我々の理論を検証する。
デバイス間設定におけるFLとSLの比較に関するさらなる知見も報告されている。 Split Learning (SL) is one promising variant of Federated Learning (FL), where the AI model is split and trained at the clients and the server collaboratively. By offloading the computation-intensive portions to the server, SL enables efficient model training on resource-constrained clients. Despite its booming applications, SL still lacks rigorous convergence analysis on non-IID data, which is critical for hyperparameter selection. In this paper, we first prove that SL exhibits an $\mathcal{O}(1/\sqrt{R})$ convergence rate for non-convex objectives on non-IID data, where $R$ is the number of total training rounds. The derived convergence results can facilitate understanding the effect of some crucial factors in SL (e.g., data heterogeneity and synchronization interval). Furthermore, comparing with the convergence result of FL, we show that the guarantee of SL is worse than FL in terms of training rounds on non-IID data. The experimental results verify our theory. More findings on the comparison between FL and SL in cross-device settings are also reported. | 翻訳日:2023-02-06 16:45:42 公開日:2023-02-03 |
| # ロバストネスの普遍法則を超えて:ランダム特徴とニューラルタンジェントカーネルのシャーパー法則 Beyond the Universal Law of Robustness: Sharper Laws for Random Features and Neural Tangent Kernels ( http://arxiv.org/abs/2302.01629v1 ) ライセンス: Link先を確認 | Simone Bombari, Shayan Kiyani, Marco Mondelli | (参考訳) 機械学習モデルは、逆の摂動に対して脆弱であり、bubeck and sellke氏の示唆する論文では、過剰パラメータ化のレンズを通してこの現象を分析している。
しかし、この「普遍的」法則はロバスト性に必要な条件のみを提供し、モデル間で区別できない。
本稿では,ランダムな特徴とニューラル・タンジェント・カーネル(NTK)という2つの原始的設定における経験的リスク最小化に着目し,これらのギャップに対処する。
ランダムな特徴に対して、モデルが任意の過度パラメータ化の度合いに対してロバストであることは、普遍的なロバスト性法則から生じる必要条件が満たされている場合でも証明する。
対照的に、活性化についても、NTKモデルは普遍的な下界に合致し、過パラメータ化に必要な条件が満たされると、すぐに堅牢となる。
これはまた、bubeck、li、nagarajによる先行研究における予想にも対処している。
この分析は、テストデータとの相互作用を記述する「相互作用行列」からモデルのカーネルの効果を分離し、アクティベーションの効果をキャプチャする。
我々の理論結果は、合成データセットと標準データセット(MNIST, CIFAR-10)の数値的証拠によって裏付けられている。 Machine learning models are vulnerable to adversarial perturbations, and a thought-provoking paper by Bubeck and Sellke has analyzed this phenomenon through the lens of over-parameterization: interpolating smoothly the data requires significantly more parameters than simply memorizing it. However, this "universal" law provides only a necessary condition for robustness, and it is unable to discriminate between models. In this paper, we address these gaps by focusing on empirical risk minimization in two prototypical settings, namely, random features and the neural tangent kernel (NTK). We prove that, for random features, the model is not robust for any degree of over-parameterization, even when the necessary condition coming from the universal law of robustness is satisfied. In contrast, for even activations, the NTK model meets the universal lower bound, and it is robust as soon as the necessary condition on over-parameterization is fulfilled. This also addresses a conjecture in prior work by Bubeck, Li and Nagaraj. Our analysis decouples the effect of the kernel of the model from an "interaction matrix", which describes the interaction with the test data and captures the effect of the activation. Our theoretical results are corroborated by numerical evidence on both synthetic and standard datasets (MNIST, CIFAR-10). | 翻訳日:2023-02-06 16:45:21 公開日:2023-02-03 |
| # 言語間距離検索改善のための系列文関係のモデル化 Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval ( http://arxiv.org/abs/2302.01626v1 ) ライセンス: Link先を確認 | Shunyu Zhang, Yaobo Liang, Ming Gong, Daxin Jiang, Nan Duan | (参考訳) 近年,mBERT や XLM-R などの多言語事前学習言語モデル (PLM) は,言語間密集検索において顕著な進歩を遂げている。
その成功にもかかわらず、多言語PLMは多言語検索に適した汎用PLMであり、まだ探索されていない。
並列文書中の文はほぼ同じ順序で、言語間で普遍的であるという観察によって動機づけられたこの逐次文関係をモデル化し、言語間表現学習を容易にすることを提案する。
具体的には、文表現を生成する文エンコーダと、文書から文ベクトル列に適用される文書エンコーダからなる、マスキング文モデル(msm)と呼ばれる多言語plmを提案する。
文書エンコーダは、言語間の普遍的な逐次文関係をモデル化するために、すべての言語で共有される。
モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
4つの言語横断検索タスクに関する包括的実験により,msmは既存の事前学習モデルを大きく上回っており,本手法の有効性と強固な言語横断検索能力を示している。
コードとモデルは利用可能だ。 Recently multi-lingual pre-trained language models (PLM) such as mBERT and XLM-R have achieved impressive strides in cross-lingual dense retrieval. Despite its successes, they are general-purpose PLM while the multilingual PLM tailored for cross-lingual retrieval is still unexplored. Motivated by an observation that the sentences in parallel documents are approximately in the same order, which is universal across languages, we propose to model this sequential sentence relation to facilitate cross-lingual representation learning. Specifically, we propose a multilingual PLM called masked sentence model (MSM), which consists of a sentence encoder to generate the sentence representations, and a document encoder applied to a sequence of sentence vectors from a document. The document encoder is shared for all languages to model the universal sequential sentence relation across languages. To train the model, we propose a masked sentence prediction task, which masks and predicts the sentence vector via a hierarchical contrastive loss with sampled negatives. Comprehensive experiments on four cross-lingual retrieval tasks show MSM significantly outperforms existing advanced pre-training models, demonstrating the effectiveness and stronger cross-lingual retrieval capabilities of our approach. Code and model will be available. | 翻訳日:2023-02-06 16:44:59 公開日:2023-02-03 |
| # プライベートで公正で正確:放射線学における大規模でプライバシー保護のAIモデルを訓練する Private, fair and accurate: Training large-scale, privacy-preserving AI models in radiology ( http://arxiv.org/abs/2302.01622v1 ) ライセンス: Link先を確認 | Soroosh Tayebi Arasteh, Alexander Ziller, Christiane Kuhl, Marcus Makowski, Sven Nebelung, Rickmer Braren, Daniel Rueckert, Daniel Truhn, Georgios Kaissis | (参考訳) 人工知能(AI)モデルは、医療分野でますます使われている。
しかし、医療データの感度が高いため、そのデータの保護を確実にするための特別対策が必要である。
プライバシー保護の金本位制は、モデルトレーニングに差分プライバシー(dp)を導入することである。
しかし、過去の研究では、DPがモデル精度と公平性に悪影響を及ぼすことが示されている。
そこで本研究では,胸部X線画像診断のためのAIモデルのプライバシ保護トレーニングが,非プライベートトレーニングと比較して高い精度と公平性で可能であることを示す。
n=193,311の高品質胸部x線写真が回顧的に収集され,経験豊富な放射線科医によって手作業で分類された。
プライベートなAIモデルはプライバシ保護(DP)モデルと比較され、プライバシユーティリティトレードオフ(AUROC(Receer-operator-characteristic curve)の下で測定された領域)、プライバシとフェアネスのトレードオフ(ピアソン-Rまたは統計パリティ差)が測定された。
プライベートでないAIモデルはすべてのラベルに対して平均0.90のAUROCスコアを達成したが、プライバシー予算が7.89のDP AIモデルはAUROCの0.87、すなわち、プライベートでないトレーニングに比べてパフォーマンスがわずか2.6%低下した。
診断AIモデルのプライバシ保護トレーニングは、モデルの精度に小さなペナルティを伴って高いパフォーマンスを達成することができ、年齢、性別、または共道徳に対する差別を増幅しない。
したがって、医療aiモデル開発に最先端のプライバシー保護技術を統合することを実践者に推奨する。 Artificial intelligence (AI) models are increasingly used in the medical domain. However, as medical data is highly sensitive, special precautions to ensure the protection of said data are required. The gold standard for privacy preservation is the introduction of differential privacy (DP) to model training. However, prior work has shown that DP has negative implications on model accuracy and fairness. Therefore, the purpose of this study is to demonstrate that the privacy-preserving training of AI models for chest radiograph diagnosis is possible with high accuracy and fairness compared to non-private training. N=193,311 high quality clinical chest radiographs were retrospectively collected and manually labeled by experienced radiologists, who assigned one or more of the following diagnoses: cardiomegaly, congestion, pleural effusion, pneumonic infiltration and atelectasis, to each side (where applicable). The non-private AI models were compared with privacy-preserving (DP) models with respect to privacy-utility trade-offs (measured as area under the receiver-operator-characteristic curve (AUROC)), and privacy-fairness trade-offs (measured as Pearson-R or Statistical Parity Difference). The non-private AI model achieved an average AUROC score of 0.90 over all labels, whereas the DP AI model with a privacy budget of epsilon=7.89 resulted in an AUROC of 0.87, i.e., a mere 2.6% performance decrease compared to non-private training. The privacy-preserving training of diagnostic AI models can achieve high performance with a small penalty on model accuracy and does not amplify discrimination against age, sex or co-morbidity. We thus encourage practitioners to integrate state-of-the-art privacy-preserving techniques into medical AI model development. | 翻訳日:2023-02-06 16:44:39 公開日:2023-02-03 |
| # 多テクスチャ合成のための幾何学的自動エンコーダ A geometrically aware auto-encoder for multi-texture synthesis ( http://arxiv.org/abs/2302.01616v1 ) ライセンス: Link先を確認 | Pierrick Chatillon, Yann Gousseau, Sidonie Lefebvre | (参考訳) マルチテクスチャ合成のための自動エンコーダアーキテクチャを提案する。
このアプローチは、第2次ニューラルネットワーク統計のためのコンパクトエンコーダと、適応的周期的コンテンツを含むジェネレータの両方に依存する。
画像はコンパクトで幾何学的に整合した潜在空間に埋め込まれ、テクスチャ表現とその空間的組織は切り離されている。
テクスチャ合成と補間タスクは、これらの潜在コードから直接行うことができる。
実験により,我々のモデルは,視覚的品質および各種テクスチャ関連指標の観点から,最先端のフィードフォワード法より優れていることが示された。 We propose an auto-encoder architecture for multi-texture synthesis. The approach relies on both a compact encoder accounting for second order neural statistics and a generator incorporating adaptive periodic content. Images are embedded in a compact and geometrically consistent latent space, where the texture representation and its spatial organisation are disentangled. Texture synthesis and interpolation tasks can be performed directly from these latent codes. Our experiments demonstrate that our model outperforms state-of-the-art feed-forward methods in terms of visual quality and various texture related metrics. | 翻訳日:2023-02-06 16:44:02 公開日:2023-02-03 |
| # 60語で世界の周辺:オンライン研究のための生成語彙テスト Around the world in 60 words: A generative vocabulary test for online research ( http://arxiv.org/abs/2302.01614v1 ) ライセンス: Link先を確認 | Pol van Rijn, Yue Sun, Harin Lee, Raja Marjieh, Ilia Sucholutsky, Francesca Lanzarini, Elisabeth Andr\'e, Nori Jacoby | (参考訳) ネイティブ言語における多様な参加者による実験を行うことで、文化、認知、言語に関する洞察を明らかにすることができる。
しかし,これらの実験をオンラインで行うと,自己報告型言語能力の検証が困難になる。
さらに、既存の熟練度テストは小さく、少数の言語しかカバーしていない。
ウィキペディアのテキストを用いて語彙テストを生成する自動パイプラインを提案する。
我々のパイプラインは希少名詞をサンプリングし、同じ低レベル統計量を持つ擬似語を生成する。
6カ国8言語における6つの行動実験(N=236)
a)我々のテストは、密接に関連する言語のネイティブ話者を区別することができる。
(b)検査は信頼性(r=0.82$)で、
(c) パフォーマンスは既存のテスト(LexTale)と自己レポートと強く相関する。
さらに,テスト精度は,テスト言語とネイティブ言語との言語的距離と負の相関関係を示す。
私たちのテストは8つの言語で利用可能で、簡単に他の言語に拡張できます。 Conducting experiments with diverse participants in their native languages can uncover insights into culture, cognition, and language that may not be revealed otherwise. However, conducting these experiments online makes it difficult to validate self-reported language proficiency. Furthermore, existing proficiency tests are small and cover only a few languages. We present an automated pipeline to generate vocabulary tests using text from Wikipedia. Our pipeline samples rare nouns and creates pseudowords with the same low-level statistics. Six behavioral experiments (N=236) in six countries and eight languages show that (a) our test can distinguish between native speakers of closely related languages, (b) the test is reliable ($r=0.82$), and (c) performance strongly correlates with existing tests (LexTale) and self-reports. We further show that test accuracy is negatively correlated with the linguistic distance between the tested and the native language. Our test, available in eight languages, can easily be extended to other languages. | 翻訳日:2023-02-06 16:43:53 公開日:2023-02-03 |
| # NFT販売価格予測のためのマルチモーダル表現学習 Show me your NFT and I tell you how it will perform: Multimodal representation learning for NFT selling price prediction ( http://arxiv.org/abs/2302.01676v1 ) ライセンス: Link先を確認 | Davide Costa, Lucio La Cava, Andrea Tagarelli | (参考訳) 非ファンジブルトークン(Non-Fungible Tokens、NFT)は、ブロックチェーン技術とスマートコントラクトに基づく、デジタルアートフォーム(アートワークやコレクションブルなど)上のユニークな暗号資産の所有行為を表す。
2021年に急上昇したNFTは、暗号通貨愛好家や投資家の注目を集め、この黒字市場への有望な投資を図っている。
しかし、NFTの財務業績予測は、これまで広く研究されていない。
本研究では,NFT 画像とそのテキスト記述が NFT 販売価格の予測に不可欠なプロキシであるという仮説に基づいて,上記の問題に対処する。
そこで本研究では,NFTのイメージとテキストのコレクション上に,グラフニューラルネットワークモデルとともにトランスフォーマーベースの言語と視覚モデルをトレーニングするための,新しいマルチモーダルディープラーニングフレームワークであるMERLINを提案する。
MERLINの重要な側面は、NFTトレーディングに関心のあるユーザーが扱おうとする主要なデータ、すなわちNFT画像とテキスト記述のみを利用するため、金融機能に対する独立性である。
このようなデータの密度の高い表現を学習することにより、MERLINモデルにより価格カテゴリー分類タスクが実行され、推論フェーズにおけるユーザの好みに応じて調整することで、異なるリスク・リターン投資プロファイルを模倣することができる。
公開データセットでの実験的評価では、マーリンモデルがいくつかの金融評価基準に従って重要なパフォーマンスを達成し、収益性のある投資を促進し、金融特徴に基づくベースライン機械学習分類器を打ち負かすことが示されている。 Non-Fungible Tokens (NFTs) represent deeds of ownership, based on blockchain technologies and smart contracts, of unique crypto assets on digital art forms (e.g., artworks or collectibles). In the spotlight after skyrocketing in 2021, NFTs have attracted the attention of crypto enthusiasts and investors intent on placing promising investments in this profitable market. However, the NFT financial performance prediction has not been widely explored to date. In this work, we address the above problem based on the hypothesis that NFT images and their textual descriptions are essential proxies to predict the NFT selling prices. To this purpose, we propose MERLIN, a novel multimodal deep learning framework designed to train Transformer-based language and visual models, along with graph neural network models, on collections of NFTs' images and texts. A key aspect in MERLIN is its independence on financial features, as it exploits only the primary data a user interested in NFT trading would like to deal with, i.e., NFT images and textual descriptions. By learning dense representations of such data, a price-category classification task is performed by MERLIN models, which can also be tuned according to user preferences in the inference phase to mimic different risk-return investment profiles. Experimental evaluation on a publicly available dataset has shown that MERLIN models achieve significant performances according to several financial assessment criteria, fostering profitable investments, and also beating baseline machine-learning classifiers based on financial features. | 翻訳日:2023-02-06 16:37:57 公開日:2023-02-03 |
| # Schr\"{o}dinger表現における連続ポーラロン問題に対する全カップリング解 All-coupling solution for the continuous polaron problem in the Schr\"{o}dinger representation ( http://arxiv.org/abs/2302.01669v1 ) ライセンス: Link先を確認 | I. D. Feranchuk and N. Q. San and O. D. Skoromnik | (参考訳) 量子論のschr\"{o}dinger表現における大ラディウスfr\"{o}hlichポーラロンの解は、カップリング定数の変動範囲全体において構成される。
ポーラロンのエネルギーと有効質量は単純代数変換によって計算され、この系の経路積分の変分原理に基づいてファインマンによって得られた結果と類似している。
これにより、ポラロン問題に対する機能的および操作的アプローチの不等式に関する長期的な問題を解くことができる。
この手法は、標準摂動理論が分岐する粒子場相互作用の他のモデルにとって重要である。 The solution for the large-radius Fr\"{o}hlich polaron in the Schr\"{o}dinger representation of the quantum theory is constructed in the entire range of variation of the coupling constant. The energy and the effective mass of the polaron are calculated by simple algebraic transformations and are analogous to the results found by Feynman on the basis of the variational principle for the path-integrals of this system. It allows us to solve the long-lived problem of the inequalities of the functional and operator approaches for the polaron problem. The developed method is important for other models of particle-field interaction including those ones for which the standard perturbation theory is divergent. | 翻訳日:2023-02-06 16:37:29 公開日:2023-02-03 |
| # Mind the Gap: 不完全なリワードに対するオフラインポリシー最適化 Mind the Gap: Offline Policy Optimization for Imperfect Rewards ( http://arxiv.org/abs/2302.01667v1 ) ライセンス: Link先を確認 | Jianxiong Li, Xiao Hu, Haoran Xu, Jingjing Liu, Xianyuan Zhan, Qing-Shan Jia, Ya-Qin Zhang | (参考訳) リワード機能は強化学習(RL)において必須であり、与えられた課題を解決するためのエージェントのインセンティブを誘導するシグナルとして機能するが、設計も困難である。
多くの場合、不完全な報酬のみが利用可能であり、RLエージェントにかなりのパフォーマンス損失をもたらす。
本研究では,様々な種類の不完全な報酬をスマートに処理できる,オフラインポリシー最適化手法である \textit{rgm (reward gap minimization)"を提案する。
RGMは二段階最適化問題として定式化され、上層は、一部の専門家データと一致する訪問分布を行う報酬補正項を最適化し、下層は補正された報酬と悲観的なRL問題を解く。
下位層の双対性を利用して,オンラインインタラクションを伴わずにサンプルベース学習が可能な抽出可能なアルゴリズムを導出する。
総合的な実験により、RGMは不完全な報酬の多様な設定の下で、既存の手法よりも優れた性能を発揮することが示された。
さらに、RGMは、専門家の選好に対する誤りや矛盾した報奨を効果的に補正し、偏見のある報奨から有用な情報を取得することができる。 Reward function is essential in reinforcement learning (RL), serving as the guiding signal to incentivize agents to solve given tasks, however, is also notoriously difficult to design. In many cases, only imperfect rewards are available, which inflicts substantial performance loss for RL agents. In this study, we propose a unified offline policy optimization approach, \textit{RGM (Reward Gap Minimization)}, which can smartly handle diverse types of imperfect rewards. RGM is formulated as a bi-level optimization problem: the upper layer optimizes a reward correction term that performs visitation distribution matching w.r.t. some expert data; the lower layer solves a pessimistic RL problem with the corrected rewards. By exploiting the duality of the lower layer, we derive a tractable algorithm that enables sampled-based learning without any online interactions. Comprehensive experiments demonstrate that RGM achieves superior performance to existing methods under diverse settings of imperfect rewards. Further, RGM can effectively correct wrong or inconsistent rewards against expert preference and retrieve useful information from biased rewards. | 翻訳日:2023-02-06 16:37:20 公開日:2023-02-03 |
| # CVTNet:LiDARデータを用いた位置認識のためのクロスプラットフォームトランスフォーマネットワーク CVTNet: A Cross-View Transformer Network for Place Recognition Using LiDAR Data ( http://arxiv.org/abs/2302.01665v1 ) ライセンス: Link先を確認 | Junyi Ma, Guangming Xiong, Jingyi Xu, Xieyuanli Chen | (参考訳) LiDARをベースとした位置認識(LPR)は、GPSで識別された環境において、これまで訪れた場所を特定する上で、自動運転車の最も重要なコンポーネントの1つである。
既存のLPR手法の多くは、異なるビューを考慮せずに入力ポイントクラウドの平凡な表現を使用するが、LiDARセンサーからの情報を完全に活用することはできない。
本稿では,LIDARデータから発生する範囲画像ビュー(RIV)と鳥眼ビュー(BEV)を融合させる,CVTNetと呼ばれるクロスビュートランスフォーマーネットワークを提案する。
変換器内および変換器間を用いた2つの異なるビュー間の相関関係を抽出する。
これに基づいて,提案するCVTNetは,各レーザスキャンの終端をオンライン化して,現在のクエリスキャンと事前構築したデータベースとのデクリプタマッチングにより,既往の場所を検索する,Yaw-angle-invariant Global Descriptorを生成する。
センサの設定や環境条件の異なる3つのデータセットに対するアプローチを評価した。
実験結果から,提案手法は視点変化と長期スパンに強い頑健性を有する最先端のLPR法よりも優れていた。
さらに,本手法は,通常のLiDARフレームレートよりも高速なリアルタイム性能を実現する。
本手法の実装は, https://github.com/BIT-MJY/CVTNetで公開されている。 LiDAR-based place recognition (LPR) is one of the most crucial components of autonomous vehicles to identify previously visited places in GPS-denied environments. Most existing LPR methods use mundane representations of the input point cloud without considering different views, which may not fully exploit the information from LiDAR sensors. In this paper, we propose a cross-view transformer-based network, dubbed CVTNet, to fuse the range image views (RIVs) and bird's eye views (BEVs) generated from the LiDAR data. It extracts correlations within the views themselves using intra-transformers and between the two different views using inter-transformers. Based on that, our proposed CVTNet generates a yaw-angle-invariant global descriptor for each laser scan end-to-end online and retrieves previously seen places by descriptor matching between the current query scan and the pre-built database. We evaluate our approach on three datasets collected with different sensor setups and environmental conditions. The experimental results show that our method outperforms the state-of-the-art LPR methods with strong robustness to viewpoint changes and long-time spans. Furthermore, our approach has a good real-time performance that can run faster than the typical LiDAR frame rate. The implementation of our method is released as open source at: https://github.com/BIT-MJY/CVTNet. | 翻訳日:2023-02-06 16:37:01 公開日:2023-02-03 |
| # learnable typewriter:テキスト行分析のための生成的アプローチ The Learnable Typewriter: A Generative Approach to Text Line Analysis ( http://arxiv.org/abs/2302.01660v1 ) ライセンス: Link先を確認 | Ioannis Siglidis, Nicolas Gonthier, Julien Gaubil, Tom Monnier and Mathieu Aubry | (参考訳) テキスト行中の文字解析と認識に対する生成文書固有のアプローチを提案する。
私たちの主なアイデアは、教師なしのマルチオブジェクトセグメンテーションメソッド、特にスプライトと呼ばれる限られた量のビジュアル要素に基づいてイメージを再構築するメソッドを構築することです。
当社のアプローチでは,多数の異なる文字を学習し,利用可能な行レベルのアノテーションを活用することが可能です。
私たちの貢献は2倍です。
まず,テキスト行解析のための深層非教師付き多目的セグメンテーション手法の適応と評価を行う。
これらの手法は、主に合成データに対して完全に教師なしで評価されているため、実際のテキスト画像に適応・定量的に評価でき、弱い監督で訓練できることを示すことは大きな進歩である。
第2に,本手法の新たな応用の可能性,特に手書きの歴史とバリエーションを研究する古文書学の分野,および暗号解析への応用の可能性を示す。
私たちは、Google1000データセットの印刷ボリューム、Copiale暗号、12世紀から13世紀初頭の歴史的な手書きのチャーターの3つの非常に異なるデータセットに対するアプローチを評価しました。 We present a generative document-specific approach to character analysis and recognition in text lines. Our main idea is to build on unsupervised multi-object segmentation methods and in particular those that reconstruct images based on a limited amount of visual elements, called sprites. Our approach can learn a large number of different characters and leverage line-level annotations when available. Our contribution is twofold. First, we provide the first adaptation and evaluation of a deep unsupervised multi-object segmentation approach for text line analysis. Since these methods have mainly been evaluated on synthetic data in a completely unsupervised setting, demonstrating that they can be adapted and quantitatively evaluated on real text images and that they can be trained using weak supervision are significant progresses. Second, we demonstrate the potential of our method for new applications, more specifically in the field of paleography, which studies the history and variations of handwriting, and for cipher analysis. We evaluate our approach on three very different datasets: a printed volume of the Google1000 dataset, the Copiale cipher and historical handwritten charters from the 12th and early 13th century. | 翻訳日:2023-02-06 16:36:37 公開日:2023-02-03 |
| # 多体量子輸送における最初の検出時間統計 First detection time statistics in many-body quantum transport ( http://arxiv.org/abs/2302.01656v1 ) ライセンス: Link先を確認 | Christoph Dittel, Niklas Neubrand, Felix Thiel, Andreas Buchleitner | (参考訳) 対象空間における繰り返し射影計測の作用下で,多種多様な部分的に識別可能な相互作用可能な粒子の輸送について検討し,粒子の干渉が平均第1検出時間にどのように影響するかについて検討した。
我々は、n$ の検出と少なくとも n$ の粒子の検出を対比し、生成進化演算子のスペクトル特性を通して平均 1 番目の検出時間の相違を説明し、この結果を例示する。 We study the transport of many partially distinguishable and possibly interacting particles under the action of repeated projective measurements on a target space, and investigate how the particles' interference affects the mean first detection time. We contrast the detection of exactly $n$ versus at least $n$ particles, explain divergences in the mean first detection time through spectral properties of the generating evolution operator, and illustrate our findings by an example. | 翻訳日:2023-02-06 16:36:19 公開日:2023-02-03 |
| # スライドからピクセルへ--前臨床病理学における弱教師付きモデルのための説明可能性フレームワーク From slides (through tiles) to pixels: an explainability framework for weakly supervised models in pre-clinical pathology ( http://arxiv.org/abs/2302.01653v1 ) ライセンス: Link先を確認 | Marco Bertolini, Van-Khoa Le, Jake Pencharz, Andreas Poehlmann, Djork-Arn\'e Clevert, Santiago Villalba, Floriane Montanari | (参考訳) 前臨床病理学では、生データ(多くの個々の動物の臓器のスライド画像)の豊富さと、病理学者によるピクセルレベルのスライドアノテーションの欠如の間にパラドックスがある。
時間的制約と規制当局の要求により、診断は代わりにスライドラベルとして保存される。
弱い教師付きトレーニングはこれらのデータを活用するように設計されており、トレーニングされたモデルは病理学者によって、特定の興味のある病変を含む確率でスライドのランク付けに使用できる。
本稿では,新しいコンテキスト型eXplainable AI(XAI)フレームワークの提案と,デジタル病理学におけるWSI(Whole Slide Images)を用いたディープラーニングモデルへの応用について述べる。
具体的には,スライドレベルラベルのみをベースとしたマルチインスタンス学習(MIL)モデルに,画素レベルのアノテーションを必要とせずにメソッドを適用する。
提案手法は, 病理医のアノテーションによる説明のヒートマップの一致度を定量化し, それらのアノテーションを訓練した分節モデルから予測することで, 定量的に検証する。
本研究では,入力シフトに対する説明の安定性,モデル性能の向上に対する忠実性を示す。
利用可能なピクセル単位のアノテーションと説明可能なヒートマップとの相関を定量的に評価する。
スライド全体の重要なタイルの説明は正常な部位と病変の間の組織変化と相関するが、正確には人間のアノテーションのように振る舞うわけではない。
この結果はモデルトレーニング戦略と一致している。 In pre-clinical pathology, there is a paradox between the abundance of raw data (whole slide images from many organs of many individual animals) and the lack of pixel-level slide annotations done by pathologists. Due to time constraints and requirements from regulatory authorities, diagnoses are instead stored as slide labels. Weakly supervised training is designed to take advantage of those data, and the trained models can be used by pathologists to rank slides by their probability of containing a given lesion of interest. In this work, we propose a novel contextualized eXplainable AI (XAI) framework and its application to deep learning models trained on Whole Slide Images (WSIs) in Digital Pathology. Specifically, we apply our methods to a multi-instance-learning (MIL) model, which is trained solely on slide-level labels, without the need for pixel-level annotations. We validate quantitatively our methods by quantifying the agreements of our explanations' heatmaps with pathologists' annotations, as well as with predictions from a segmentation model trained on such annotations. We demonstrate the stability of the explanations with respect to input shifts, and the fidelity with respect to increased model performance. We quantitatively evaluate the correlation between available pixel-wise annotations and explainability heatmaps. We show that the explanations on important tiles of the whole slide correlate with tissue changes between healthy regions and lesions, but do not exactly behave like a human annotator. This result is coherent with the model training strategy. | 翻訳日:2023-02-06 16:36:11 公開日:2023-02-03 |
| # 一般物理理論のエントロピーとは? Which entropy for general physical theories? ( http://arxiv.org/abs/2302.01651v1 ) ライセンス: Link先を確認 | Paolo Perinotti, Alessandro Tosini, Leonardo Vaglini | (参考訳) 本稿では,情報内容が漸近的到達可能な圧縮率で定義される任意の情報理論において,情報源の情報内容の定量化の問題に対処する。
古典的および量子論におけるこの問題を解決する関数は、それぞれシャノンとフォン・ノイマンのエントロピーである。
しかし、一般的な情報理論では、エントロピーの概念を拡張する3つの異なる関数が存在するため、いずれかが情報内容に対する量化器の役割を普遍的に果たせるかどうかという疑問が開かれている。
ここでは,双局所古典理論 (Bilocal Classical Theory) と呼ばれる玩具理論において,情報内容と様々なエントロピー関数を評価することによって,負の質問に答える。 We address the problem of quantifying the information content of a source for an arbitrary information theory, where the information content is defined in terms of the asymptotic achievable compression rate. The functions that solve this problem in classical and quantum theory are Shannon's and von Neumann's entropy, respectively. However, in a general information theory there are three different functions that extend the notion of entropy, and this opens the question as to whether any of them can universally play the role of the quantifier for the information content. Here we answer the question in the negative, by evaluating the information content as well as the various entropic functions in a toy theory called Bilocal Classical Theory. | 翻訳日:2023-02-06 16:35:47 公開日:2023-02-03 |
| # ShadowFormer: 画像のシャドウ除去を支援するグローバルコンテキスト ShadowFormer: Global Context Helps Image Shadow Removal ( http://arxiv.org/abs/2302.01650v1 ) ライセンス: Link先を確認 | Lanqing Guo, Siyu Huang, Ding Liu, Hao Cheng, Bihan Wen | (参考訳) 近年の深層学習法は画像の影除去において有望な成果を上げている。
しかし、既存のアプローチのほとんどは、影領域と非陰影領域の局所的な作業に重点を置いており、その結果、影境界周辺の深刻な人工物と、陰影領域と非陰影領域との間の矛盾した照明が生じる。
シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用したディープシャドウ除去モデルは依然として困難である。
本研究では,まず,ShandowFormerと呼ばれる新しいトランスフォーマーネットワークを設計し,非シャドウ領域を有効利用して影領域の復元を支援するRetinexベースのシャドウモデルを提案する。
グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。
そこで本研究では,シャドウ領域と非シャドウ領域のコンテキスト相関を効果的にモデル化するために,シャドウ相互作用に着目したシャドウ相互作用モジュール (sim) を提案する。
提案手法を評価するために, ISTD, ISTD+, SRDの3つのパブリックデータセットについて広範な実験を行った。
提案手法は,最大150倍少ないモデルパラメータを用いて,最先端の性能を実現する。 Recent deep learning methods have achieved promising results in image shadow removal. However, most of the existing approaches focus on working locally within shadow and non-shadow regions, resulting in severe artifacts around the shadow boundaries as well as inconsistent illumination between shadow and non-shadow regions. It is still challenging for the deep shadow removal model to exploit the global contextual correlation between shadow and non-shadow regions. In this work, we first propose a Retinex-based shadow model, from which we derive a novel transformer-based network, dubbed ShandowFormer, to exploit non-shadow regions to help shadow region restoration. A multi-scale channel attention framework is employed to hierarchically capture the global information. Based on that, we propose a Shadow-Interaction Module (SIM) with Shadow-Interaction Attention (SIA) in the bottleneck stage to effectively model the context correlation between shadow and non-shadow regions. We conduct extensive experiments on three popular public datasets, including ISTD, ISTD+, and SRD, to evaluate the proposed method. Our method achieves state-of-the-art performance by using up to 150X fewer model parameters. | 翻訳日:2023-02-06 16:35:35 公開日:2023-02-03 |
| # 構造インフォームド言語モデルはタンパク質デザイナーである Structure-informed Language Models Are Protein Designers ( http://arxiv.org/abs/2302.01649v1 ) ライセンス: Link先を確認 | Zaixiang Zheng, Yifan Deng, Dongyu Xue, Yi Zhou, Fei YE, and Quanquan Gu | (参考訳) 本稿では,言語モデルが強い構造に基づくタンパク質設計者であることを示す。
我々は,自然タンパク質配列の宇宙から膨大な進化的知識を習得した配列ベースのタンパク質言語モデル(plm)の再プログラミングのための汎用的アプローチであるlm-designを提案する。
pLMに軽量な構造アダプターを埋め込んだ構造手術を行い,構造意識を付加した構造手術を行った。
推論中、生成したタンパク質配列を効果的に最適化するために反復精製を行う。
実験の結果、我々の手法は最先端の手法よりも大きなマージンで優れており、配列回復の精度は最大4%から12%向上している(例えば、CATH 4.2と4.3の単鎖ベンチマークでは55.65%、56.63%、タンパク質複合体を設計する場合は60%)。
我々は,(1)構造的知識とシーケンシャル知識の両方を活用して,構造的非決定性領域を正確に処理できること,(2)スケールデータとモデルサイズによる利点,(3)他のタンパク質(抗体やデノボタンパク質など)への一般化が可能であることを検証した。 This paper demonstrates that language models are strong structure-based protein designers. We present LM-Design, a generic approach to reprogramming sequence-based protein language models (pLMs), that have learned massive sequential evolutionary knowledge from the universe of natural protein sequences, to acquire an immediate capability to design preferable protein sequences for given folds. We conduct a structural surgery on pLMs, where a lightweight structural adapter is implanted into pLMs and endows it with structural awareness. During inference, iterative refinement is performed to effectively optimize the generated protein sequences. Experiments show that our approach outperforms the state-of-the-art methods by a large margin, leading to up to 4% to 12% accuracy gains in sequence recovery (e.g., 55.65% and 56.63% on CATH 4.2 and 4.3 single-chain benchmarks, and >60% when designing protein complexes). We provide extensive and in-depth analyses, which verify that LM-Design can (1) indeed leverage both structural and sequential knowledge to accurately handle structurally non-deterministic regions, (2) benefit from scaling data and model size, and (3) generalize to other proteins (e.g., antibodies and de novo proteins) | 翻訳日:2023-02-06 16:35:13 公開日:2023-02-03 |
| # GTV:垂直的フェデレーション学習による語彙データ生成 GTV: Generating Tabular Data via Vertical Federated Learning ( http://arxiv.org/abs/2302.01706v1 ) ライセンス: Link先を確認 | Zilong Zhao, Han Wu, Aad Van Moorsel and Lydia Y. Chen | (参考訳) Generative Adversarial Networks (GANs) は、直接アクセス可能なトレーニングデータの推定の下で、表形式のデータ合成において最先端の結果を得た。
垂直フェデレーション学習(vertical federated learning, vfl)は、テーブル型データ学習が主なユースケースである同じ個人に関連するユニークな特徴を持つクライアントで、マシンラーニングモデルを分散的にトレーニングするパラダイムである。
しかし、表状のGANがVFLで学べるかどうかは不明である。
トレーニングとデータ合成におけるクライアントとGAN間のセキュアなデータ転送の要求は、さらなる課題となる。
表型GANの条件ベクトルは、生成されたデータの特定の特徴を制御する貴重なツールである。
しかし、それは実際のデータからの機密情報を含んでいる。
本稿では,生成器,識別器,条件ベクトルを主成分とする表型GANのためのVFLフレームワークであるGTVを提案する。
GTVは、プライバシ保存方式でトレーニングデータにアクセスするためのジェネレータと識別器のためのユニークな分散トレーニングアーキテクチャを提案する。
条件ベクトルをプライバシリークのないトレーニングに適合させるため、GTVは条件ベクトルでトレーニングデータを再構成できないようにトレーニング付きシャッフル機構を設計する。
我々はGTVの有効性を,合成データ品質と総合訓練のスケーラビリティの観点から評価した。
その結果,GTV は集中型 GAN アルゴリズムと同等品質の高忠実な合成表データを生成することができることがわかった。
機械学習ユーティリティの違いは、クライアント間の極めて不均衡なデータ分散と異なるクライアント数の下でも、最大2.7%まで小さくすることができる。 Generative Adversarial Networks (GANs) have achieved state-of-the-art results in tabular data synthesis, under the presumption of direct accessible training data. Vertical Federated Learning (VFL) is a paradigm which allows to distributedly train machine learning model with clients possessing unique features pertaining to the same individuals, where the tabular data learning is the primary use case. However, it is unknown if tabular GANs can be learned in VFL. Demand for secure data transfer among clients and GAN during training and data synthesizing poses extra challenge. Conditional vector for tabular GANs is a valuable tool to control specific features of generated data. But it contains sensitive information from real data - risking privacy guarantees. In this paper, we propose GTV, a VFL framework for tabular GANs, whose key components are generator, discriminator and the conditional vector. GTV proposes an unique distributed training architecture for generator and discriminator to access training data in a privacy-preserving manner. To accommodate conditional vector into training without privacy leakage, GTV designs a mechanism training-with-shuffling to ensure that no party can reconstruct training data with conditional vector. We evaluate the effectiveness of GTV in terms of synthetic data quality, and overall training scalability. Results show that GTV can consistently generate high-fidelity synthetic tabular data of comparable quality to that generated by centralized GAN algorithm. The difference on machine learning utility can be as low as to 2.7%, even under extremely imbalanced data distributions across clients and different number of clients. | 翻訳日:2023-02-06 16:29:15 公開日:2023-02-03 |
| # ライフタイム予測のための操作プロファイルのアライメントによるドメイン適応 Domain Adaptation via Alignment of Operation Profile for Remaining Useful Lifetime Prediction ( http://arxiv.org/abs/2302.01704v1 ) ライセンス: Link先を確認 | Ismail Nejjar, Fabian Geissmann, Mengjie Zhao, Cees Taal, Olga Fink | (参考訳) 効果的な予後・健康管理(PHM)は、残留実用生命(RUL)の正確な予測に依存している。
データ駆動RUL予測技術は、利用可能な時間対障害軌道の表現性に大きく依存する。
したがって、これらの方法は、訓練されたものとは異なる運用条件に従う艦隊の新しい部隊のデータに適用された場合、うまく機能しない可能性がある。
これはドメインシフトとも呼ばれる。
ドメイン適応(DA)メソッドは、ドメイン不変の特徴を抽出することによって、ドメインシフト問題に対処することを目的としている。
しかし、DA法は定常状態や過渡位相のような動作の異なる位相を区別しない。
これにより、異なる操作フェーズの過小評価や過剰表現による誤調整が発生する。
本稿では,操作プロファイルの異なる位相を別々に検討した,対向領域適応フレームワークに基づくRUL予測のための2つの新しいDA手法を提案する。
提案手法は、ソースドメイン内の操作プロファイルの各フェーズの限界分布を、ターゲットドメイン内の各フェーズと整合させる。
提案手法の有効性は,3つの異なる飛行クラス(ショート,ミディアム,ロング)の1つで動作するターボファンエンジンのサブフレットを別々のドメインとして扱う,n-cmapss(commercial modular aero-propulsion system)データセットを用いて評価した。
実験の結果,提案手法は現状のda法に比べ,rul予測の精度が向上することがわかった。 Effective Prognostics and Health Management (PHM) relies on accurate prediction of the Remaining Useful Life (RUL). Data-driven RUL prediction techniques rely heavily on the representativeness of the available time-to-failure trajectories. Therefore, these methods may not perform well when applied to data from new units of a fleet that follow different operating conditions than those they were trained on. This is also known as domain shifts. Domain adaptation (DA) methods aim to address the domain shift problem by extracting domain invariant features. However, DA methods do not distinguish between the different phases of operation, such as steady states or transient phases. This can result in misalignment due to under- or over-representation of different operation phases. This paper proposes two novel DA approaches for RUL prediction based on an adversarial domain adaptation framework that considers the different phases of the operation profiles separately. The proposed methodologies align the marginal distributions of each phase of the operation profile in the source domain with its counterpart in the target domain. The effectiveness of the proposed methods is evaluated using the New Commercial Modular Aero-Propulsion System (N-CMAPSS) dataset, where sub-fleets of turbofan engines operating in one of the three different flight classes (short, medium, and long) are treated as separate domains. The experimental results show that the proposed methods improve the accuracy of RUL predictions compared to current state-of-the-art DA methods. | 翻訳日:2023-02-06 16:28:50 公開日:2023-02-03 |
| # グラフベースの時空間予測器の場所と方法 Where and How to Improve Graph-based Spatio-temporal Predictors ( http://arxiv.org/abs/2302.01701v1 ) ライセンス: Link先を確認 | Daniele Zambon, Cesare Alippi | (参考訳) 本稿では,時空間予測モデルの最適性を評価するために,新しい残差相関解析 az- analysis を提案する。
提案したAZ分析は, モデルの改良が可能な時空領域の発見と強調を行う上で, 有用な資産である。
az分析は非常に穏やかな仮定の下で動作し、データ内の直列および機能的な依存関係をエンコードする時空間グラフに基づいている。 This paper introduces a novel residual correlation analysis, called AZ-analysis, to assess the optimality of spatio-temporal predictive models. The proposed AZ-analysis constitutes a valuable asset for discovering and highlighting those space-time regions where the model can be improved with respect to performance. The AZ-analysis operates under very mild assumptions and is based on a spatio-temporal graph that encodes serial and functional dependencies in the data; asymptotically distribution-free summary statistics identify existing residual correlation in space and time regions, hence localizing time frames and/or communities of sensors, where the predictor can be improved. | 翻訳日:2023-02-06 16:28:29 公開日:2023-02-03 |
| # 対称ハイパーグラフ状態:絡み合い量子化とロバストベル非局所性 Symmetric hypergraph states: Entanglement quantification and robust Bell nonlocality ( http://arxiv.org/abs/2302.01695v1 ) ライセンス: Link先を確認 | Jan N\"oller, Otfried G\"uhne, Mariami Gachechiladze | (参考訳) 量子ハイパーグラフ状態はグラフ状態の自然な一般化である。
本稿では,量子超グラフ状態の大規模クラスに対する絡み合いと非局所性を調査し,解析的に定量化する。
より具体的には、対称ハイパーグラフの絡み合いの幾何学的測度と、その局所的なポーリ安定剤を結びつける。
その結果、対称グラフ状態と対称ハイパーグラフ状態の類似性を認識し、無限に多くのハイパーグラフ状態に対する局所現実性違反の指数関数的増加と、粒子損失に対するロバスト性の両方を説明する。 Quantum hypergraph states are the natural generalization of graph states. Here we investigate and analytically quantify entanglement and nonlocality for large classes of quantum hypergraph states. More specifically, we connect the geometric measure of entanglement of symmetric hypergraphs to their local Pauli stabilizers. As a result we recognize the resemblance between symmetric graph states and symmetric hypergraph states, which explains both, exponentially increasing violation of local realism for infinitely many classes of hypergraph states and its robustness towards particle loss. | 翻訳日:2023-02-06 16:28:17 公開日:2023-02-03 |
| # ブールネットワークと多値制御ネットワークの共進化 Coevolving Boolean and Multi-Valued Regulatory Networks ( http://arxiv.org/abs/2302.01694v1 ) ライセンス: Link先を確認 | Larry Bull | (参考訳) ランダムブールネットワークは遺伝子制御ネットワークの側面を探るために広く利用されている。
遺伝子数を増やす効果を体系的に探求するモデルの改良形式が、これまで紹介されてきた。
本稿では,これらの離散力学ネットワークは,結合した頑丈な運動環境の中で共進化し,それらの行動を探索する。
その結果,booleanモデルの汎用性は,更新スキームや適合サンプリング法に関わらず,高い値の論理に留まっていることが示唆された。
共進化ネットワークにおける位相的非対称性の導入は行動を変化させる。 Random Boolean networks have been used widely to explore aspects of gene regulatory networks. A modified form of the model through which to systematically explore the effects of increasing the number of gene states has previously been introduced. In this paper, these discrete dynamical networks are coevolved within coupled, rugged fitness landscapes to explore their behaviour. Results suggest the general properties of the Boolean model remain with higher valued logic regardless of the update scheme or fitness sampling method. Introducing topological asymmetry in the coevolving networks is seen to alter behaviour. | 翻訳日:2023-02-06 16:28:08 公開日:2023-02-03 |
| # LIQUID: リスト質問回答データセット生成のためのフレームワーク LIQUID: A Framework for List Question Answering Dataset Generation ( http://arxiv.org/abs/2302.01691v1 ) ライセンス: Link先を確認 | Seongyun Lee, Hyunjae Kim, Jaewoo Kang | (参考訳) 質問応答(QA)モデルは、手動アノテーションのコストを削減するためにデータ生成フレームワークの開発を必要とする大規模なトレーニングデータセットに依存することが多い。
最近の研究は、単一のスパン回答で合成質問を生成することを目的としているが、複数の非連続スパンを回答とするリスト質問の作成に関する研究は行われていない。
このギャップに対処するため、ラベルなしコーパスからリストQAデータセットを生成する自動化フレームワークであるShaoursを提案する。
まず、ウィキペディアまたはPubMedからの節を要約に変換し、要約されたテキストから名前付きエンティティを候補回答として抽出する。
これにより、文脈で意味的に相関し、従ってリストの質問を構成するのに適した回答を選択できる。
次に、抽出されたエンティティと元のパスを含む既製の質問生成器を用いて質問を作成する。
最後に、繰り返しフィルタリングと解答拡張を行い、解答の精度と完全性を確保する。
合成データを用いて,MultiSpanQAでは5.0点,Quorefでは1.9点,BioASQベンチマークでは2.8点の精度で,過去のベストリストQAモデルの性能を大幅に向上させた。 Question answering (QA) models often rely on large-scale training datasets, which necessitates the development of a data generation framework to reduce the cost of manual annotations. Although several recent studies have aimed to generate synthetic questions with single-span answers, no study has been conducted on the creation of list questions with multiple, non-contiguous spans as answers. To address this gap, we propose \ours, an automated framework for generating list QA datasets from unlabeled corpora. We first convert a passage from Wikipedia or PubMed into a summary and extract named entities from the summarized text as candidate answers. This allows us to select answers that are semantically correlated in context and is, therefore, suitable for constructing list questions. We then create questions using an off-the-shelf question generator with the extracted entities and original passage. Finally, iterative filtering and answer expansion are performed to ensure the accuracy and completeness of the answers. Using our synthetic data, we significantly improve the performance of the previous best list QA models by exact-match F1 scores of 5.0 on MultiSpanQA, 1.9 on Quoref, and 2.8 averaged across three BioASQ benchmarks. | 翻訳日:2023-02-06 16:27:59 公開日:2023-02-03 |
| # ローカルクレジットと不完全軌道を用いたGFlowNetsのより良いトレーニング Better Training of GFlowNets with Local Credit and Incomplete Trajectories ( http://arxiv.org/abs/2302.01687v1 ) ライセンス: Link先を確認 | Ling Pan, Nikolay Malkin, Dinghuai Zhang, Yoshua Bengio | (参考訳) Generative Flow Networks or GFlowNets are related to Monte-Carlo Markov chain methods (as they sample from a distribution specified by an energy function), reinforcement learning (as they learn a policy to sample composed objects through a sequence of steps), generative models (as they learn to represent and sample from a distribution) and amortized variational methods (as they can be used to learn to approximate and sample from an otherwise intractable posterior, given a prior and a likelihood).
それらは、生成軌道の最後に与えられる、いくつかの報酬関数 $r(x)$ (または $\exp(-\mathcal{e}(x))$ with $\mathcal{e}(x)$ に比例する確率を持つ一連のステップを通じて、オブジェクト $x$を生成するように訓練される。
最終的に報酬が与えられる他のRL設定と同様に、トレーニングとクレジットの割り当ての効率は、これらの軌道が長くなると損なわれる可能性がある。
従来のgflownetでは,不完全なトラジェクタ(終端状態と関連する報酬の計算)からの学習は不可能だった。
本稿では, 終端状態だけでなく, 中間状態にもエネルギー関数が適用可能であることを考察する。
これは例えば、エネルギー関数が加法的であるときに達成され、軌道に沿って項が利用できる。
我々は、GFlowNet状態フロー関数を再パラメータ化して、各状態で既に獲得した部分的な報酬を利用する方法を示す。
これにより、不完全なトラジェクトリであってもパラメータの更新に適用可能なトレーニングの目標が可能になる。
完全な軌道が利用可能である場合でも、多くのシミュレーションで示されているように、より局所化されたクレジットと勾配を得ることができることはトレーニング収束をスピードアップさせる。 Generative Flow Networks or GFlowNets are related to Monte-Carlo Markov chain methods (as they sample from a distribution specified by an energy function), reinforcement learning (as they learn a policy to sample composed objects through a sequence of steps), generative models (as they learn to represent and sample from a distribution) and amortized variational methods (as they can be used to learn to approximate and sample from an otherwise intractable posterior, given a prior and a likelihood). They are trained to generate an object $x$ through a sequence of steps with probability proportional to some reward function $R(x)$ (or $\exp(-\mathcal{E}(x))$ with $\mathcal{E}(x)$ denoting the energy function), given at the end of the generative trajectory. Like for other RL settings where the reward is only given at the end, the efficiency of training and credit assignment may suffer when those trajectories are longer. With previous GFlowNet work, no learning was possible from incomplete trajectories (lacking a terminal state and the computation of the associated reward). In this paper, we consider the case where the energy function can be applied not just to terminal states but also to intermediate states. This is for example achieved when the energy function is additive, with terms available along the trajectory. We show how to reparameterize the GFlowNet state flow function to take advantage of the partial reward already accrued at each state. This enables a training objective that can be applied to update parameters even with incomplete trajectories. Even when complete trajectories are available, being able to obtain more localized credit and gradients is found to speed up training convergence, as demonstrated across many simulations. | 翻訳日:2023-02-06 16:27:38 公開日:2023-02-03 |
| # boosted learning を用いたポジトロントモグラフィ検出器のタイミング分解能向上 -残留物理学的アプローチ- Improving the Timing Resolution of Positron Emission Tomography Detectors using Boosted Learning -- A Residual Physics Approach ( http://arxiv.org/abs/2302.01681v1 ) ライセンス: Link先を確認 | Stephan Naunheim, Yannick Kuhl, David Schug, Volkmar Schulz, Florian Mueller | (参考訳) 人工知能は、通常、画像再構成や分析された再構成画像の強化に焦点を当てて、医療画像にその道を見出している。
しかし、信号検出から計算データへの完全な処理チェーンに沿った最適化は、大幅な改善を実現する。
そこで本稿では,残差物理の概念を応用した強化学習を用いた検出器最適化手法を提案する。
本研究では,ポジトロン放射トモグラフィー(PET)検出器の一致時間分解能(CTR)を改善した。
PETはシンチレーション検出器を用いてガンマ光子を検出することによって代謝過程のイメージングを可能にする。
現在の研究は、シンチレーション光が複数の読み出しチャネルによってデジタル化された光共有検出器を活用している。
これらの検出器は、例えば空間分解能に関する優れた性能パラメータを示す一方で、時間スキューと呼ばれる劣化効果のために、飛行時間(TOF)の正確なタイミング情報を抽出することがより困難になる。
従来の補正法は主に解析的な定式化に依存しており、理論的には信号のランタイムや物理的効果によって生じる全ての時間スキュー効果をカバーできる。
しかし、光共有検出器にさらなる効果が伴うため、適切な分析式を見つけることは任意に複雑になる。
残留物理ベースの戦略は、勾配木ブースティング(GTB)と、放射源をシフトさせて実際の撮像過程を模倣した物理インフォームドデータ生成を用いる。
臨床に関係のある19mmの検出器とデジタル光センサーアレイを用いた。
全ての訓練されたモデルはCTRを大幅に改善した。
最適なモデルを用いて、300keVから700keV(450keVから550keV)までのエネルギーに対して、CTRを198ps (185ps)まで下げた。 Artificial intelligence is finding its way into medical imaging, usually focusing on image reconstruction or enhancing analytical reconstructed images. However, optimizations along the complete processing chain, from detecting signals to computing data, enable significant improvements. Thus, we present an approach toward detector optimization using boosted learning by exploiting the concept of residual physics. In our work, we improve the coincidence time resolution (CTR) of positron emission tomography (PET) detectors. PET enables imaging of metabolic processes by detecting {\gamma}-photons with scintillation detectors. Current research exploits light-sharing detectors, where the scintillation light is distributed over and digitized by an array of readout channels. While these detectors demonstrate excellent performance parameters, e.g., regarding spatial resolution, extracting precise timing information for time-of-flight (TOF) becomes more challenging due to deteriorating effects called time skews. Conventional correction methods mainly rely on analytical formulations, theoretically capable of covering all time skew effects, e.g., caused by signal runtimes or physical effects. However, additional effects are involved for light-sharing detectors, so finding suitable analytical formulations can become arbitrarily complicated. The residual physics-based strategy uses gradient tree boosting (GTB) and a physics-informed data generation mimicking an actual imaging process by shifting a radiation source. We used clinically relevant detectors with a height of 19 mm, coupled to digital photosensor arrays. All trained models improved the CTR significantly. Using the best model, we achieved CTRs down to 198 ps (185 ps) for energies ranging from 300 keV to 700 keV (450 keV to 550 keV). | 翻訳日:2023-02-06 16:27:09 公開日:2023-02-03 |
| # 2段階制約付き俳優批判の短いビデオレコメンデーション Two-Stage Constrained Actor-Critic fo Short Video Recommendation ( http://arxiv.org/abs/2302.01680v1 ) ライセンス: Link先を確認 | Qingpeng Cai, Zhenghai Xue, Chi Zhang, Wanqi Xue, Shuchang Liu, Ruohan Zhan, Xueliang Wang, Tianyou Zuo, Wentao Xie, Dong Zheng, Peng Jiang, Kun Gai | (参考訳) ソーシャルメディア上でのショートビデオの普及は、ビデオ共有プラットフォームの推奨システムを最適化する新たな機会と課題をもたらす。
ユーザはシステムとシーケンシャルに対話し、複数のビデオとのさまざまなタイプのインタラクションを含む、複雑で多面的な応答を提供する。
プラットフォームは、ユーザーの累積時計時間(メインゴール)を長期に最適化することを目的としており、これは強化学習によって効果的に最適化できる。
一方、プラットフォームは、フォロー、共有など、複数のユーザインタラクション(補助的な目標)のレスポンスを調節する制約を満たす必要もあります。
本稿では,CMDP(Constrained Markov Decision Process)として,短いビデオレコメンデーションの問題を定式化する。
従来の制約付き強化学習アルゴリズムはこの設定ではうまく動作しない。
そこで我々は,新たな2段階制約付きアクター批判手法を提案する: ステージ1では,各補助信号の最適化について個別のポリシーを学習する。
第二段階では 政策を学びます
(i)主信号の最適化及び
(二)第一段階において学んだ政策に近づかないこと。これにより、この主要な政策の補助者に対する性能が実質的に保証される。
大規模なオフライン評価を通じて,本手法の目的を最適化する上での代替手法に対する有効性を実証する。
さらに,提案手法は短いビデオレコメンデーションのライブ実験において,視聴時間と対話時間の両方において,他のベースラインを大きく上回る効果を示す。
当社のアプローチは,プラットフォーム上のユーザエクスペリエンスを最適化する目的で,本番システムで完全にローンチされています。 The wide popularity of short videos on social media poses new opportunities and challenges to optimize recommender systems on the video-sharing platforms. Users sequentially interact with the system and provide complex and multi-faceted responses, including watch time and various types of interactions with multiple videos. One the one hand, the platforms aims at optimizing the users' cumulative watch time (main goal) in long term, which can be effectively optimized by Reinforcement Learning. On the other hand, the platforms also needs to satisfy the constraint of accommodating the responses of multiple user interactions (auxiliary goals) such like, follow, share etc. In this paper, we formulate the problem of short video recommendation as a Constrained Markov Decision Process (CMDP). We find that traditional constrained reinforcement learning algorithms can not work well in this setting. We propose a novel two-stage constrained actor-critic method: At stage one, we learn individual policies to optimize each auxiliary signal. At stage two, we learn a policy to (i) optimize the main signal and (ii) stay close to policies learned at the first stage, which effectively guarantees the performance of this main policy on the auxiliaries. Through extensive offline evaluations, we demonstrate effectiveness of our method over alternatives in both optimizing the main goal as well as balancing the others. We further show the advantage of our method in live experiments of short video recommendations, where it significantly outperforms other baselines in terms of both watch time and interactions. Our approach has been fully launched in the production system to optimize user experiences on the platform. | 翻訳日:2023-02-06 16:26:39 公開日:2023-02-03 |
| # 個人化フェデレーション学習の再考: バックドア攻撃に対するロバスト性 Revisiting Personalized Federated Learning: Robustness Against Backdoor Attacks ( http://arxiv.org/abs/2302.01677v1 ) ライセンス: Link先を確認 | Zeyu Qin, Liuyi Yao, Daoyuan Chen, Yaliang Li, Bolin Ding, Minhao Cheng | (参考訳) 本研究では,予測精度の向上に加えて,パーソナライゼーションがバックドア攻撃にロバスト性をもたらすかどうかを検討する。
ベンチマークデータセットfemnistとcifar-10における6つのpflメソッドに対する4つの広く使用されているバックドア攻撃をテストし,合計600の実験を行った。
この研究は、部分的なモデル共有を伴うpFL法がバックドア攻撃に対するロバスト性を著しく向上させることを示した。
対照的に、完全なモデル共有を持つpfl法は堅牢性を示しない。
異なるロバスト性性能の理由を分析するため,pfl法における包括的アブレーション研究を行った。
そこで本研究では,バックドア攻撃に対する防御性能を実証的に向上する軽量防御手法Simple-Tuningを提案する。
私たちは、pFLアプリケーションの堅牢性の観点からガイダンスを提供し、将来より堅牢なFLメソッドを設計するための貴重な洞察を提供することができると考えています。 In this work, besides improving prediction accuracy, we study whether personalization could bring robustness benefits to backdoor attacks. We conduct the first study of backdoor attacks in the pFL framework, testing 4 widely used backdoor attacks against 6 pFL methods on benchmark datasets FEMNIST and CIFAR-10, a total of 600 experiments. The study shows that pFL methods with partial model-sharing can significantly boost robustness against backdoor attacks. In contrast, pFL methods with full model-sharing do not show robustness. To analyze the reasons for varying robustness performances, we provide comprehensive ablation studies on different pFL methods. Based on our findings, we further propose a lightweight defense method, Simple-Tuning, which empirically improves defense performance against backdoor attacks. We believe that our work could provide both guidance for pFL application in terms of its robustness and offer valuable insights to design more robust FL methods in the future. | 翻訳日:2023-02-06 16:26:14 公開日:2023-02-03 |
| # 確率的政策勾配法:漁業非退化政策におけるサンプル複素性の改善 Stochastic Policy Gradient Methods: Improved Sample Complexity for Fisher-non-degenerate Policies ( http://arxiv.org/abs/2302.01734v1 ) ライセンス: Link先を確認 | Ilyas Fatkhullin and Anas Barakat and Anastasia Kireeva and Niao He | (参考訳) 近年,政策勾配法(PG法)の実証的成功により,理論基盤の発達が促進された。
効率的な確率的pg型アルゴリズムの設計に向けられた膨大な努力にもかかわらず、世界的最適方針への収束の理解は依然として限られている。
本研究では,連続状態動作空間の場合に対処可能な,フィッシャー非退化パラメータ化ポリシーの一般クラスに対するグローバル収束保証を改良した。
まず,Implicit Gradient Transport (N-PG-IGT) を用いた正規化政策勾配法を提案し,大域的な$\varepsilon$-optimal Policyを求めるために,この手法のサンプル複雑性を$\tilde{\mathcal{O}}(\varepsilon^{-2.5})$とする。
以前知られていた$\tilde{\mathcal{O}}(\varepsilon^{-3})$複雑さよりも改善されているため、このアルゴリズムは重要サンプリングや2階情報の使用を必要とせず、イテレーション毎に1つの軌道のみをサンプリングする。
第二に、この複雑さをさらに改善するために、Hessian-Aided Recursive Policy Gradient ((N)-HARPG) アルゴリズムを Hessian-vector product に基づく補正で拡張することにより、$\tilde{ \mathcal{\mathcal{O}} }(\varepsilon^{-2})$ となる。
興味深いことに、どちらのアルゴリズムも$である。
(i) 単純で簡単に実装できる: シングルループ、大きなトラジェクトリとサンプルのバッチをイテレーション毎に2つのトラジェクトリで必要としない。
(ii)$計算量とメモリ効率:各イテレーションで高価なサブルーチンを必要とせず、パラメータの次元で線形にメモリを実装することができる。 Recently, the impressive empirical success of policy gradient (PG) methods has catalyzed the development of their theoretical foundations. Despite the huge efforts directed at the design of efficient stochastic PG-type algorithms, the understanding of their convergence to a globally optimal policy is still limited. In this work, we develop improved global convergence guarantees for a general class of Fisher-non-degenerate parameterized policies which allows to address the case of continuous state action spaces. First, we propose a Normalized Policy Gradient method with Implicit Gradient Transport (N-PG-IGT) and derive a $\tilde{\mathcal{O}}(\varepsilon^{-2.5})$ sample complexity of this method for finding a global $\varepsilon$-optimal policy. Improving over the previously known $\tilde{\mathcal{O}}(\varepsilon^{-3})$ complexity, this algorithm does not require the use of importance sampling or second-order information and samples only one trajectory per iteration. Second, we further improve this complexity to $\tilde{ \mathcal{\mathcal{O}} }(\varepsilon^{-2})$ by considering a Hessian-Aided Recursive Policy Gradient ((N)-HARPG) algorithm enhanced with a correction based on a Hessian-vector product. Interestingly, both algorithms are $(i)$ simple and easy to implement: single-loop, do not require large batches of trajectories and sample at most two trajectories per iteration; $(ii)$ computationally and memory efficient: they do not require expensive subroutines at each iteration and can be implemented with memory linear in the dimension of parameters. | 翻訳日:2023-02-06 16:20:49 公開日:2023-02-03 |
| # スピン1粒子の超放射現象 The superradiance phenomenon in spin-one particles ( http://arxiv.org/abs/2302.01730v1 ) ライセンス: Link先を確認 | Sebastian Valladares and Clara Rojas | (参考訳) 本稿ではDuffin--Kemmer--Petiau(DKP)方程式をスピン1粒子の双曲タンジェントポテンシャルの存在下で解く。
スピン-ワンスピノルを分割することにより、DKP方程式がクライン-ゴルドン方程式の形式と等価であることを示す。
散乱解は超幾何関数によって導出される。
リフレクション $r$ と transmission $t$ 係数はガンマ関数の項で計算される。
この結果は、ポテンシャルの特定の領域に対してr$が1より大きい場合の超放射現象の存在を示す。 In this article, we solve the Duffin--Kemmer--Petiau (DKP) equation in the presence of hyperbolic tangent potential for spin-one particles. By partitioning the spin-one spinor, we show that the DKP equation is equivalent to the Klein--Gordon equation formalism. The scattering solutions are derived in terms of hypergeometric functions. The reflection $R$ and transmission $T$ coefficients are calculated in terms of the Gamma functions. The results show the presence of the superradiance phenomenon when $R$ for a specific region in the potential becomes greater than one. | 翻訳日:2023-02-06 16:20:16 公開日:2023-02-03 |
| # サプライチェーン最適化のための分布制約強化学習 Distributional constrained reinforcement learning for supply chain optimization ( http://arxiv.org/abs/2302.01727v1 ) ライセンス: Link先を確認 | Jaime Sabal Berm\'udez and Antonio del Rio Chanona and Calvin Tsay | (参考訳) 本研究は、生産や在庫といった制約を受ける多周期サプライチェーンの文脈における強化学習(rl)について研究する。
本稿では、RLにおける信頼性の高い制約満足度のための新しいアプローチである分散制約政策最適化(DCPO)を紹介する。
我々のアプローチは制約付き政策最適化(CPO)に基づいており、これは実際には不可能な政策に収束させる近似誤差を被る。
分散RLの側面をDCPOに組み込むことでこの問題に対処する。
具体的には、離散分布を出力するニューラルネットワークを用いて、戻り値とコスト値関数を表現し、関連する信頼度に基づいてコストを再構成する。
本稿では、サプライチェーンケーススタディを用いて、DCPOがRLポリシーの収束率を改善し、トレーニングの終了までに信頼性の高い制約満足度を確保することを示す。
提案手法は,それぞれが実行時のリターンのばらつきを著しく低減し,予測可能性も向上する。 This work studies reinforcement learning (RL) in the context of multi-period supply chains subject to constraints, e.g., on production and inventory. We introduce Distributional Constrained Policy Optimization (DCPO), a novel approach for reliable constraint satisfaction in RL. Our approach is based on Constrained Policy Optimization (CPO), which is subject to approximation errors that in practice lead it to converge to infeasible policies. We address this issue by incorporating aspects of distributional RL into DCPO. Specifically, we represent the return and cost value functions using neural networks that output discrete distributions, and we reshape costs based on the associated confidence. Using a supply chain case study, we show that DCPO improves the rate at which the RL policy converges and ensures reliable constraint satisfaction by the end of training. The proposed method also improves predictability, greatly reducing the variance of returns between runs, respectively; this result is significant in the context of policy gradient methods, which intrinsically introduce significant variance during training. | 翻訳日:2023-02-06 16:20:07 公開日:2023-02-03 |
| # キラル誘起スピン選択性の量子センシングに向けて:ダイヤモンド中のnv中心を持つドナー-ブリッジ-受容体分子の探索 Towards Quantum Sensing of Chiral-Induced Spin Selectivity: Probing Donor-Bridge-Acceptor Molecules with NV Centers in Diamond ( http://arxiv.org/abs/2302.01725v1 ) ライセンス: Link先を確認 | Laura A. V\"olker, Konstantin Herb, Erika Janitz, Christian L. Degen, John M. Abendroth | (参考訳) 分子内電荷移動を支える光励起可能なドナーブリッジ受容体(D-B-A)分子は、キラル誘起スピン選択性(CISS)が電子移動およびラジカル対に与える影響を調べるのに理想的な基盤である。
特に、CISSがスピン偏極やスピンコヒーレンスに影響を及ぼす範囲は、カイラルブリッジを経由した電荷移動に続くスピン相関ラジカル対の初期状態において明らかな問題である。
本稿では,ダイヤモンド中の浅層窒素空孔(nv)中心を用いてラジカル対のスピン偏極を直接測定する量子センシング法を提案する。
重要なことは、ラジカル対内の電子スピンスピン双極子結合の摂動的性質を強調し、リー・ゴールドバーグ脱カップリングがD-B-A分子のスピン偏極を保ち、単一のNV中心によるエナンチオ選択的検出をいかに行うかを示す。
提案手法は,電子移動反応におけるスピン選択性に関する新たな知見を与える。 Photoexcitable donor-bridge-acceptor (D-B-A) molecules that support intramolecular charge transfer are ideal platforms to probe the influence of chiral-induced spin selectivity (CISS) in electron transfer and resulting radical pairs. In particular, the extent to which CISS influences spin polarization or spin coherence in the initial state of spin-correlated radical pairs following charge transfer through a chiral bridge remains an open question. Here, we introduce a quantum sensing scheme to measure directly the hypothesized spin polarization in radical pairs using shallow nitrogen-vacancy (NV) centers in diamond at the single- to few-molecule level. Importantly, we highlight the perturbative nature of the electron spin-spin dipolar coupling within the radical pair, and demonstrate how Lee-Goldburg decoupling can preserve spin polarization in D-B-A molecules for enantioselective detection by a single NV center. The proposed measurements will provide fresh insight into spin selectivity in electron transfer reactions. | 翻訳日:2023-02-06 16:19:51 公開日:2023-02-03 |
| # 10億規模のショートビデオレコメンデーションシステムにおけるユーザ保持の強化 Reinforcing User Retention in a Billion Scale Short Video Recommender System ( http://arxiv.org/abs/2302.01724v1 ) ライセンス: Link先を確認 | Qingpeng Cai, Shuchang Liu, Xueliang Wang, Tianyou Zuo, Wentao Xie, Bin Yang, Dong Zheng, Peng Jiang, Kun Gai | (参考訳) 近年,ショートビデオプラットフォームは,興味深いコンテンツをユーザに推薦することで,急速なユーザ増加を達成している。
この勧告の目的は、ユーザ保持の最適化であり、DAU(Daily Active Users)の成長を促進することである。
保持は、ユーザとシステムの複数インタラクション後の長期的なフィードバックであり、各アイテムまたはアイテムのリストに対する保持報酬を分解することは困難である。
したがって、従来のポイントワイズモデルとリストワイズモデルは保持を最適化できない。
本稿では,長期的性能を最大化するために,保持率を最適化する強化学習手法を選択する。
我々は,この問題を無限ホリゾン要求に基づくマルコフ決定プロセスとして定式化し,複数のセッションの蓄積時間間隔を最小化することを目的としている。
しかし、現在の強化学習アルゴリズムは、ユーザの保持特性によって生じる不確実性、バイアス、長い遅延時間のために、この設定では直接適用できない。
本稿では、上記の課題に対処するため、RLURと呼ばれる新しい手法を提案する。
オフラインとライブの両方の実験は、RLURがユーザの保持を大幅に改善できることを示している。
RLURは長い間、Kuaishouアプリで完全にローンチされており、ユーザ保持とDAUで一貫したパフォーマンス向上を実現している。 Recently, short video platforms have achieved rapid user growth by recommending interesting content to users. The objective of the recommendation is to optimize user retention, thereby driving the growth of DAU (Daily Active Users). Retention is a long-term feedback after multiple interactions of users and the system, and it is hard to decompose retention reward to each item or a list of items. Thus traditional point-wise and list-wise models are not able to optimize retention. In this paper, we choose reinforcement learning methods to optimize the retention as they are designed to maximize the long-term performance. We formulate the problem as an infinite-horizon request-based Markov Decision Process, and our objective is to minimize the accumulated time interval of multiple sessions, which is equal to improving the app open frequency and user retention. However, current reinforcement learning algorithms can not be directly applied in this setting due to uncertainty, bias, and long delay time incurred by the properties of user retention. We propose a novel method, dubbed RLUR, to address the aforementioned challenges. Both offline and live experiments show that RLUR can significantly improve user retention. RLUR has been fully launched in Kuaishou app for a long time, and achieves consistent performance improvement on user retention and DAU. | 翻訳日:2023-02-06 16:19:31 公開日:2023-02-03 |
| # 汚染されたデータセットを活用してクリーンなデータ分散を学習する Leveraging Contaminated Datasets to Learn Clean-Data Distribution with Purified Generative Adversarial Networks ( http://arxiv.org/abs/2302.01722v1 ) ライセンス: Link先を確認 | Bowen Tian, Qinliang Su, Jianxing Yu | (参考訳) generative adversarial network (gans) は、トレーニングインスタンスの基盤となる分布を捉える能力が強いことで知られている。
GANの精巧な研究以来、多くの変種が提案されている。
しかし、既存のGANはトレーニングデータセットがクリーンであるという前提でほぼ確立されている。
しかし、多くの現実世界のアプリケーションでは、これは、トレーニングデータセットが望ましくないインスタンスの比率で汚染されるという、保持できないかもしれない。
このようなデータセットをトレーニングする場合、既存のGANは、望ましいデータのみの分布(ターゲット分布)ではなく、望ましいインスタンスと汚染されたインスタンスの混合分布を学習する。
汚染されたデータセットからターゲット分布を学習するために、汚染インスタンスのみからなる余分なデータセットを利用して、識別器をターゲットインスタンスと汚染インスタンスとを区別する能力で拡張する、2つの精製された生成逆ネットワーク(purigan)を開発した。
いくつかの穏やかな条件下では、提案されたPuriGANは所望のインスタンスの分布に収束することが保証される。
いくつかのデータセットにおける実験結果は、汚染されたデータセットでトレーニングされた場合、提案するピューリガンは同等のベースラインよりも所望の分布からはるかに良い画像を生成することができることを示した。
さらに,汚染データセットとpu-learningの半教師あり異常検出タスクに適用することにより,下流アプリケーションにおけるpuriganの有用性を実証する。
実験の結果、PuriGANは両方のタスクで同等のベースラインで最高のパフォーマンスを提供できることがわかった。 Generative adversarial networks (GANs) are known for their strong abilities on capturing the underlying distribution of training instances. Since the seminal work of GAN, many variants of GAN have been proposed. However, existing GANs are almost established on the assumption that the training dataset is clean. But in many real-world applications, this may not hold, that is, the training dataset may be contaminated by a proportion of undesired instances. When training on such datasets, existing GANs will learn a mixture distribution of desired and contaminated instances, rather than the desired distribution of desired data only (target distribution). To learn the target distribution from contaminated datasets, two purified generative adversarial networks (PuriGAN) are developed, in which the discriminators are augmented with the capability to distinguish between target and contaminated instances by leveraging an extra dataset solely composed of contamination instances. We prove that under some mild conditions, the proposed PuriGANs are guaranteed to converge to the distribution of desired instances. Experimental results on several datasets demonstrate that the proposed PuriGANs are able to generate much better images from the desired distribution than comparable baselines when trained on contaminated datasets. In addition, we also demonstrate the usefulness of PuriGAN on downstream applications by applying it to the tasks of semi-supervised anomaly detection on contaminated datasets and PU-learning. Experimental results show that PuriGAN is able to deliver the best performance over comparable baselines on both tasks. | 翻訳日:2023-02-06 16:18:58 公開日:2023-02-03 |
| # TEXTure:テキストガイドによる3D形状のテクスチャ TEXTure: Text-Guided Texturing of 3D Shapes ( http://arxiv.org/abs/2302.01721v1 ) ライセンス: Link先を確認 | Elad Richardson, Gal Metzer, Yuval Alaluf, Raja Giryes, Daniel Cohen-Or | (参考訳) 本稿では,テクスチャのテクスチャ生成,編集,転送を行う新しい方法であるTEXTureを提案する。
TEXTureは、事前訓練された深度画像拡散モデルを利用して、異なる視点から3Dモデルを描く反復的スキームを適用する。
しかし、深度から画像へのモデルでは、1つの視点から妥当なテクスチャを作ることができるが、生成プロセスの確率的性質は、3dオブジェクト全体をテキスト化するときに多くの矛盾を引き起こす可能性がある。
これらの問題に対処するため、レンダリングされた画像のトリマップ分割を3つの進行状態に動的に定義し、このトリマップ表現を用いて異なるビューからシームレスなテクスチャを生成する新しい精巧な拡散サンプリングプロセスを提案する。
次に,生成したテクスチャマップを表面・表面マッピングを必要とせずに新しい3次元ジオメトリに転送し,画像の集合からセマンティックテクスチャを明示的な再構成を必要とせずに抽出できることを示す。
最後に、TEXTureは、新しいテクスチャを生成するだけでなく、テキストプロンプトやユーザが提供するスクリブルを使って既存のテクスチャを編集、洗練するためにも利用できることを示す。
我々は, テクスチャの生成, 転送, 編集を広範囲に評価し, さらに2次元画像生成と3次元テクスチャのギャップを埋めることにより, TEXTuring法が優れていることを示す。 In this paper, we present TEXTure, a novel method for text-guided generation, editing, and transfer of textures for 3D shapes. Leveraging a pretrained depth-to-image diffusion model, TEXTure applies an iterative scheme that paints a 3D model from different viewpoints. Yet, while depth-to-image models can create plausible textures from a single viewpoint, the stochastic nature of the generation process can cause many inconsistencies when texturing an entire 3D object. To tackle these problems, we dynamically define a trimap partitioning of the rendered image into three progression states, and present a novel elaborated diffusion sampling process that uses this trimap representation to generate seamless textures from different views. We then show that one can transfer the generated texture maps to new 3D geometries without requiring explicit surface-to-surface mapping, as well as extract semantic textures from a set of images without requiring any explicit reconstruction. Finally, we show that TEXTure can be used to not only generate new textures but also edit and refine existing textures using either a text prompt or user-provided scribbles. We demonstrate that our TEXTuring method excels at generating, transferring, and editing textures through extensive evaluation, and further close the gap between 2D image generation and 3D texturing. | 翻訳日:2023-02-06 16:18:28 公開日:2023-02-03 |
| # 拡散モデルを用いたエンドツーエンドチャネル符号化の学習 Learning End-to-End Channel Coding with Diffusion Models ( http://arxiv.org/abs/2302.01714v1 ) ライセンス: Link先を確認 | Muah Kim, Rick Fritschek, Rafael F. Schaefer | (参考訳) e2e(deep-learning-based end-to-end)チャネル符号化システムでは,学習過程と勾配・発光最適化法に基づく既知のチャネルモデルに依存することが知られている。
これにより、パイロットシグナリングによって現実のシナリオで生成されたサンプルからチャネルやその誘導体を近似または生成する。
現在、この問題を解決する方法は2つある。
1つは、生成的逆ネットワーク(gan)を介してチャネルを生成し、もう1つは、基本的に、強化学習手法による勾配を近似することである。
その他の方法はスコアベースの方法、変分オートエンコーダ、相互情報に基づく方法などである。
本稿では,生成モデルに着目し,特に画像ベースのタスクにおいて高い生成品質を示す拡散モデルと呼ばれる新しい有望な手法について述べる。
無線E2Eシナリオでは拡散モデルが利用可能であり,Wasserstein GANと同等に機能し,より安定したトレーニング手順と,テストにおける一般化能力を有することを示す。 It is a known problem that deep-learning-based end-to-end (E2E) channel coding systems depend on a known and differentiable channel model, due to the learning process and based on the gradient-descent optimization methods. This places the challenge to approximate or generate the channel or its derivative from samples generated by pilot signaling in real-world scenarios. Currently, there are two prevalent methods to solve this problem. One is to generate the channel via a generative adversarial network (GAN), and the other is to, in essence, approximate the gradient via reinforcement learning methods. Other methods include using score-based methods, variational autoencoders, or mutual-information-based methods. In this paper, we focus on generative models and, in particular, on a new promising method called diffusion models, which have shown a higher quality of generation in image-based tasks. We will show that diffusion models can be used in wireless E2E scenarios and that they work as good as Wasserstein GANs while having a more stable training procedure and a better generalization ability in testing. | 翻訳日:2023-02-06 16:18:00 公開日:2023-02-03 |
| # データメッシュ: モチベーション要因,課題,ベストプラクティス Data Mesh: Motivational Factors, Challenges, and Best Practices ( http://arxiv.org/abs/2302.01713v1 ) ライセンス: Link先を確認 | Jan Bode, Niklas K\"uhl, Dominik Kreuzberger, Sebastian Hirschl | (参考訳) データと人工知能の重要性が高まり、組織はデータ駆動型になることを目指している。
しかし、現在のデータアーキテクチャは必ずしもデータとアナリティクスのユースケースの規模と範囲に対応するように設計されているわけではない。
実際、既存のアーキテクチャは、しばしばそれらに関連する約束された価値を提供できない。
データメッシュは、データの民主化を促進し、組織を真にデータ駆動にするためのアーキテクチャ的な側面を含む、社会技術的概念である。
データメッシュの概念はまだ新しいので、現場からの経験的な洞察が欠けている。
具体的には、データメッシュ導入の動機付け要因、関連する課題、ベストプラクティス、ビジネスへの影響、潜在的アーチタイプを理解することが欠けている。
このギャップに対処するため、業界の専門家との15の半構造化インタビューを実施します。
我々の結果は、業界の専門家が、データメッシュの概念、データ製品の開発、プロビジョニング、保守に対する責任のシフト、データ製品モデルの概念に関連するフェデレーションガバナンスへの移行に苦慮していることを示している。
当社の作業では、複数のベストプラクティスを導き、データファブリックの要素を取り入れ、データ製品の使用を観察し、初期段階で素早く成果を上げ、データプロダクトを優先する小さな専用チームを好むことを推奨しています。
組織は個々のニーズに応じてベストプラクティスを適用する必要があることは認めていますが、より詳細な提案を提供する2つのアーチタイプも提案しています。
我々の研究は、業界の専門家による洞察を合成し、データメッシュの採用を成功させるためのガイドラインを研究者や専門家に提供する。 With the increasing importance of data and artificial intelligence, organizations strive to become more data-driven. However, current data architectures are not necessarily designed to keep up with the scale and scope of data and analytics use cases. In fact, existing architectures often fail to deliver the promised value associated with them. Data mesh is a socio-technical concept that includes architectural aspects to promote data democratization and enables organizations to become truly data-driven. As the concept of data mesh is still novel, it lacks empirical insights from the field. Specifically, an understanding of the motivational factors for introducing data mesh, the associated challenges, best practices, its business impact, and potential archetypes, is missing. To address this gap, we conduct 15 semi-structured interviews with industry experts. Our results show, among other insights, that industry experts have difficulties with the transition toward federated governance associated with the data mesh concept, the shift of responsibility for the development, provision, and maintenance of data products, and the concept of a data product model. In our work, we derive multiple best practices and suggest organizations embrace elements of data fabric, observe the data product usage, create quick wins in the early phases, and favor small dedicated teams that prioritize data products. While we acknowledge that organizations need to apply best practices according to their individual needs, we also deduct two archetypes that provide suggestions in more detail. Our findings synthesize insights from industry experts and provide researchers and professionals with guidelines for the successful adoption of data mesh. | 翻訳日:2023-02-06 16:17:43 公開日:2023-02-03 |
| # 非教師なしドメイン適応のための重要セマンティクス分類器に基づく逆学習 Crucial Semantic Classifier-based Adversarial Learning for Unsupervised Domain Adaptation ( http://arxiv.org/abs/2302.01708v1 ) ライセンス: Link先を確認 | Yumin Zhang, Yajun Gao, Hongliu Li, Ating Yin, Duzhen Zhang, Xiuyi Chen | (参考訳) Unsupervised Domain Adaptation (UDA)は、よくラベルされたソースドメインから関連する未ラベルのターゲットドメインへの転送可能な機能を探索することを目的としている。
それでも、主流の1つとして、既存の敵対的手法は無関係な意味知識をフィルタリングすることを無視し、適応性能の改善を妨げる。
さらに、混乱した表現を生成するために抽出子を試みる追加のドメイン判別子が必要であるが、離散設計はモデル崩壊を引き起こす可能性がある。
そこで本研究では,重要な意味的知識の伝達により多くの注意を払って,ネットワーク設計をせずに暗黙的にドメイン識別器の役割を演じるために分類器を活用する,意味的分類器に基づく逆学習(cscal)を提案する。
具体的には、クラス内アライメントにおいて、Paired-Level Discrepancy (PLD) は重要な意味的知識を伝達するために設計されている。
さらに、分類器の予測に基づいて、クラス間情報を考慮し、適応性能を向上させる核ノルムに基づく離散性(NND)が形成される。
さらに、CSCALをレギュレータとして異なるUDAメソッドに強制的にマージし、その性能を劇的に向上させることができる。 Unsupervised Domain Adaptation (UDA), which aims to explore the transferrable features from a well-labeled source domain to a related unlabeled target domain, has been widely progressed. Nevertheless, as one of the mainstream, existing adversarial-based methods neglect to filter the irrelevant semantic knowledge, hindering adaptation performance improvement. Besides, they require an additional domain discriminator that strives extractor to generate confused representations, but discrete designing may cause model collapse. To tackle the above issues, we propose Crucial Semantic Classifier-based Adversarial Learning (CSCAL), which pays more attention to crucial semantic knowledge transferring and leverages the classifier to implicitly play the role of domain discriminator without extra network designing. Specifically, in intra-class-wise alignment, a Paired-Level Discrepancy (PLD) is designed to transfer crucial semantic knowledge. Additionally, based on classifier predictions, a Nuclear Norm-based Discrepancy (NND) is formed that considers inter-class-wise information and improves the adaptation performance. Moreover, CSCAL can be effortlessly merged into different UDA methods as a regularizer and dramatically promote their performance. | 翻訳日:2023-02-06 16:17:21 公開日:2023-02-03 |
| # 画像分類におけるバックドアトリガー特性の系統的評価 A Systematic Evaluation of Backdoor Trigger Characteristics in Image Classification ( http://arxiv.org/abs/2302.01740v1 ) ライセンス: Link先を確認 | Gorka Abad, Jing Xu, Stefanos Koffas, Behrad Tajalli, Stjepan Picek | (参考訳) ディープラーニングは多くの機械学習タスクで優れた結果を達成します。
それでも、トレーニングセットを変更してトレーニングモデルに秘密機能を埋め込むバックドア攻撃には脆弱である。
修正されたトレーニングサンプルには秘密の特性、すなわちトリガーがある。
推論時に、入力がトリガーを含む場合、シークレット機能が起動され、他の場合にはモデルが正しく機能する。
多くの既知のバックドア攻撃(および防御攻撃)があるが、ステルス攻撃の展開はまだまだ容易ではない。
バックドアトリガーの作成は、多くのパラメータに大きく依存する。
残念ながら、どのパラメータが攻撃性能に最も貢献するかはまだ研究されていない。
本稿では,バックドア攻撃の最も関連するパラメータ,すなわちトリガーサイズ,位置,色,中毒率を体系的に解析する。
コンピュータビジョンにおいて非常に一般的な転送学習を用いて、多数の最先端モデル(ResNet、VGG、AlexNet、GoogLeNet)とデータセット(MNIST、CIFAR10、TinyImageNet)に対する攻撃を評価する。
私たちの攻撃は、研究におけるバックドア設定の大部分をカバーし、将来の作業に具体的な方向性を提供します。
私たちのコードは、結果の再現性を促進するために公開されています。 Deep learning achieves outstanding results in many machine learning tasks. Nevertheless, it is vulnerable to backdoor attacks that modify the training set to embed a secret functionality in the trained model. The modified training samples have a secret property, i.e., a trigger. At inference time, the secret functionality is activated when the input contains the trigger, while the model functions correctly in other cases. While there are many known backdoor attacks (and defenses), deploying a stealthy attack is still far from trivial. Successfully creating backdoor triggers heavily depends on numerous parameters. Unfortunately, research has not yet determined which parameters contribute most to the attack performance. This paper systematically analyzes the most relevant parameters for the backdoor attacks, i.e., trigger size, position, color, and poisoning rate. Using transfer learning, which is very common in computer vision, we evaluate the attack on numerous state-of-the-art models (ResNet, VGG, AlexNet, and GoogLeNet) and datasets (MNIST, CIFAR10, and TinyImageNet). Our attacks cover the majority of backdoor settings in research, providing concrete directions for future works. Our code is publicly available to facilitate the reproducibility of our results. | 翻訳日:2023-02-06 16:09:08 公開日:2023-02-03 |
| # AIROGS: ローバスト緑内障スクリーニングのための人工知能 AIROGS: Artificial Intelligence for RObust Glaucoma Screening Challenge ( http://arxiv.org/abs/2302.01738v1 ) ライセンス: Link先を確認 | Coen de Vente, Koenraad A. Vermeer, Nicolas Jaccard, He Wang, Hongyi Sun, Firas Khader, Daniel Truhn, Temirgali Aimyshev, Yerkebulan Zhanibekuly, Tien-Dung Le, Adrian Galdran, Miguel \'Angel Gonz\'alez Ballester, Gustavo Carneiro, Devika R G, Hrishikesh P S, Densen Puthussery, Hong Liu, Zekang Yang, Satoshi Kondo, Satoshi Kasai, Edward Wang, Ashritha Durvasula, J\'onathan Heras, Miguel \'Angel Zapata, Teresa Ara\'ujo, Guilherme Aresta, Hrvoje Bogunovi\'c, Mustafa Arikan, Yeong Chan Lee, Hyun Bin Cho, Yoon Ho Choi, Abdul Qayyum, Imran Razzak, Bram van Ginneken, Hans G. Lemij, Clara I. S\'anchez | (参考訳) 緑内障の早期発見は視覚障害の予防に不可欠である。
人工知能(AI)は、カラーファンドス写真(CFP)を低コストで分析するために使用することができ、緑内障のスクリーニングがより容易になる。
CFPからの緑内障スクリーニングのためのAIモデルは、実験室の設定において有望な結果を示しているが、その性能は、分布外および低品質の画像の存在により、現実のシナリオで著しく低下する。
この問題に対処するために,ロバスト緑内障スクリーニング(AIROGS)のための人工知能を提案する。
この課題には、約6万人の患者と500の異なるスクリーニングセンターから約113,000の画像の大規模なデータセットが含まれており、不安定で予期しない入力データに対して堅牢なアルゴリズムの開発を促進する。
この論文では14チームによるソリューションを評価し、最高のチームは20の専門眼科医と眼科医のセットと同じような結果を得た。
最高精査チームは、飛行中の劣化しない画像を検出するために、受信者の特性曲線 0.99 (95% ci: 0.98-0.99) の領域を達成した。
さらに、多くのアルゴリズムは、他の3つの公開データセットでテストすると、堅牢なパフォーマンスを示した。
これらの結果は、堅牢なAIによる緑内障スクリーニングの可能性を示している。 The early detection of glaucoma is essential in preventing visual impairment. Artificial intelligence (AI) can be used to analyze color fundus photographs (CFPs) in a cost-effective manner, making glaucoma screening more accessible. While AI models for glaucoma screening from CFPs have shown promising results in laboratory settings, their performance decreases significantly in real-world scenarios due to the presence of out-of-distribution and low-quality images. To address this issue, we propose the Artificial Intelligence for Robust Glaucoma Screening (AIROGS) challenge. This challenge includes a large dataset of around 113,000 images from about 60,000 patients and 500 different screening centers, and encourages the development of algorithms that are robust to ungradable and unexpected input data. We evaluated solutions from 14 teams in this paper, and found that the best teams performed similarly to a set of 20 expert ophthalmologists and optometrists. The highest-scoring team achieved an area under the receiver operating characteristic curve of 0.99 (95% CI: 0.98-0.99) for detecting ungradable images on-the-fly. Additionally, many of the algorithms showed robust performance when tested on three other publicly available datasets. These results demonstrate the feasibility of robust AI-enabled glaucoma screening. | 翻訳日:2023-02-06 16:08:48 公開日:2023-02-03 |
| # 半スーパービジョンの医用画像分割再考 : ばらつき低減の視点から Rethinking Semi-Supervised Medical Image Segmentation: A Variance-Reduction Perspective ( http://arxiv.org/abs/2302.01735v1 ) ライセンス: Link先を確認 | Chenyu You, Weicheng Dai, Yifei Min, Fenglin Liu, Xiaoran Zhang, Chen Feng, David A. Clifton, S Kevin Zhou, Lawrence Hamilton Staib, James S Duncan | (参考訳) 医用画像のセグメンテーションにおいて, 比較学習は, 意味論的に類似した, 異種のサンプルを対比することにより, 視覚表現の質を向上させるための主流の実践である。
これは、真に異なる解剖学的特徴を持つ負の例が、もしサンプルを採取すれば、性能が著しく向上する、という観察によって可能となった。
しかし実際には、これらのサンプルは類似した解剖学的特徴から来ている可能性があり、モデルは少数派のテールクラスのサンプルを区別するのに苦労する可能性があり、テールクラスは誤分類されやすくなりやすい。
本稿では,医療画像分割における階層化グループサンプリング理論を用いた半教師付きコントラスト学習(cl)フレームワークarcoを提案する。
特に, 分散削減推定の概念を通したarcoの構築を最初に提案し, 極めて限定されたラベルを有する医用画像分割タスクにおいて, 分散還元手法が特に有用であることを示す。
さらに,これらのサンプリング手法が分散還元において普遍的であることを理論的に証明する。
最後に,ラベル設定の異なる3つのベンチマークデータセットに対して,我々の手法を実験的に検証した。
さらに、clフレームワークをこれらのサンプリング技術で強化し、以前の方法を大きく上回る結果を示す。
我々は, 医用画像解析課題を遂行するための現在の自己視目標の限界を定量化することにより, 半教師付き医用画像セグメンテーションに向けた重要な一歩であると考えている。 For medical image segmentation, contrastive learning is the dominant practice to improve the quality of visual representations by contrasting semantically similar and dissimilar pairs of samples. This is enabled by the observation that without accessing ground truth label, negative examples with truly dissimilar anatomical features, if sampled, can significantly improve the performance. In reality, however, these samples may come from similar anatomical features and the models may struggle to distinguish the minority tail-class samples, making the tail classes more prone to misclassification, both of which typically lead to model collapse. In this paper, we propose ARCO, a semi-supervised contrastive learning (CL) framework with stratified group sampling theory in medical image segmentation. In particular, we first propose building ARCO through the concept of variance-reduced estimation, and show that certain variance-reduction techniques are particularly beneficial in medical image segmentation tasks with extremely limited labels. Furthermore, we theoretically prove these sampling techniques are universal in variance reduction. Finally, we experimentally validate our approaches on three benchmark datasets with different label settings, and our methods consistently outperform state-of-the-art semi- and fully-supervised methods. Additionally, we augment the CL frameworks with these sampling techniques and demonstrate significant gains over previous methods. We believe our work is an important step towards semi-supervised medical image segmentation by quantifying the limitation of current self-supervision objectives for accomplishing medical image analysis tasks. | 翻訳日:2023-02-06 16:08:27 公開日:2023-02-03 |
| # DilateFormer: 視覚認識のためのマルチスケールDilated Transformer DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition ( http://arxiv.org/abs/2302.01791v1 ) ライセンス: Link先を確認 | Jiayu Jiao, Yu-Ming Tang, Kun-Yu Lin, Yipeng Gao, Jinhua Ma, Yaowei Wang and Wei-Shi Zheng | (参考訳) 事実上の解決策として、バニラビジョン変換器(ViT)は任意の画像パッチ間の長距離依存関係をモデル化し、グローバルな受容場は二次計算コストをもたらす。
ビジョントランスフォーマーの別の部門は、小さな地区のパッチ間の相互作用をモデル化するCNNにインスパイアされた局所的な注意を生かしている。
このような解は計算コストを下げるが、自然に小さな受容場に悩まされ、性能が制限される可能性がある。
そこで本研究では,実効的な視覚トランスフォーマーを探索し,受動場の計算複雑性と大きさのトレードオフを追求する。
ViTsにおけるグローバルアテンションのパッチ相互作用を解析することにより、VTsの浅層におけるグローバル依存モデリングの冗長性を示す浅層における2つの重要な特性、すなわち局所性と疎性を観察できる。
そこで我々は,スライディングウィンドウ内の局所的およびスパースなパッチ相互作用をモデル化するためのマルチスケール拡張注意(MSDA)を提案する。
ピラミッドアーキテクチャを用いて,MSDAブロックを低レベルに積み重ねたマルチスケールDilated Transformer (DilateFormer) と,高レベルにグローバルなマルチヘッド自己保持ブロックを構築する。
実験の結果,DilateFormerは様々な視覚タスクで最先端のパフォーマンスを実現していることがわかった。
imagenet-1k分類タスクでは、dilateformerは従来の最先端モデルに比べて70%のフロップで同等のパフォーマンスを達成している。
我々のDilateFormer-Baseは、ImageNet-1K分類タスクで85.6%、COCOオブジェクト検出/インスタンス分割タスクで53.5%のボックスmAP/46.1%、ADE20Kセマンティックセマンティクスタスクで51.1%のMSmIoUを達成している。 As a de facto solution, the vanilla Vision Transformers (ViTs) are encouraged to model long-range dependencies between arbitrary image patches while the global attended receptive field leads to quadratic computational cost. Another branch of Vision Transformers exploits local attention inspired by CNNs, which only models the interactions between patches in small neighborhoods. Although such a solution reduces the computational cost, it naturally suffers from small attended receptive fields, which may limit the performance. In this work, we explore effective Vision Transformers to pursue a preferable trade-off between the computational complexity and size of the attended receptive field. By analyzing the patch interaction of global attention in ViTs, we observe two key properties in the shallow layers, namely locality and sparsity, indicating the redundancy of global dependency modeling in shallow layers of ViTs. Accordingly, we propose Multi-Scale Dilated Attention (MSDA) to model local and sparse patch interaction within the sliding window. With a pyramid architecture, we construct a Multi-Scale Dilated Transformer (DilateFormer) by stacking MSDA blocks at low-level stages and global multi-head self-attention blocks at high-level stages. Our experiment results show that our DilateFormer achieves state-of-the-art performance on various vision tasks. On ImageNet-1K classification task, DilateFormer achieves comparable performance with 70% fewer FLOPs compared with existing state-of-the-art models. Our DilateFormer-Base achieves 85.6% top-1 accuracy on ImageNet-1K classification task, 53.5% box mAP/46.1% mask mAP on COCO object detection/instance segmentation task and 51.1% MS mIoU on ADE20K semantic segmentation task. | 翻訳日:2023-02-06 16:03:11 公開日:2023-02-03 |
| # 画像解析検証におけるメトリクス関連落とし穴の理解 Understanding metric-related pitfalls in image analysis validation ( http://arxiv.org/abs/2302.01790v1 ) ライセンス: Link先を確認 | Annika Reinke, Minu D. Tizabi, Michael Baumgartner, Matthias Eisenmann, Doreen Heckmann-N\"otzel, A. Emre Kavu, Tim R\"adsch, Carole H. Sudre, Laura Acion, Michela Antonelli, Tal Arbel, Spyridon Bakas, Arriel Benis, Matthew Blaschko, Florian B\"uttner, M. Jorge Cardoso, Veronika Cheplygina, Jianxu Chen, Evangelia Christodoulou, Beth A. Cimini, Gary S. Collins, Keyvan Farahani, Luciana Ferrer, Adrian Galdran, Bram van Ginneken, Ben Glocker, Patrick Godau, Robert Haase, Daniel A. Hashimoto, Michael M. Hoffman, Merel Huisman, Fabian Isensee, Pierre Jannin, Charles E. Kahn, Dagmar Kainmueller, Bernhard Kainz, Alexandros Karargyris, Alan Karthikesalingam, Hannes Kenngott, Jens Kleesiek, Florian Kofler, Thijs Kooi, Annette Kopp-Schneider, Michal Kozubek, Anna Kreshuk, Tahsin Kurc, Bennett A. Landman, Geert Litjens, Amin Madani, Klaus Maier-Hein, Anne L. Martel, Peter Mattson, Erik Meijering, Bjoern Menze, Karel G.M. Moons, Henning M\"uller, Brennan Nichyporuk, Felix Nickel, Jens Petersen, Susanne M. Rafelski, Nasir Rajpoot, Mauricio Reyes, Michael A. Riegler, Nicola Rieke, Julio Saez-Rodriguez, Clara I. S\'anchez, Shravya Shetty, Maarten van Smeden, Ronald M. Summers, Abdel A. Taha, Aleksei Tiulpin, Sotirios A. Tsaftaris, Ben Van Calster, Ga\"el Varoquaux, Manuel Wiesenfarth, Ziv R. Yaniv, Paul F. J\"ager, Lena Maier-Hein | (参考訳) 検証メトリクスは、科学的進歩の信頼できる追跡と、人工知能(AI)研究とその実践への翻訳の間の現在の亀裂をブリッジするための鍵である。
しかし、画像解析において、基礎となる研究問題に関してメトリクスが不十分に選択されることが証明されている。
個々の強み、弱点、バリデーションメトリクスの制限を考慮に入れることは、教育的な選択を行う上で重要な前提条件であるが、関連する知識は現在分散しており、個々の研究者にはアクセスできない。
本研究は,多分野の専門家コンソーシアムによる多段階Delphiプロセスと広範なコミュニティフィードバックに基づいて,画像解析における検証メトリクスに関連する落とし穴に関する情報への信頼性と包括的な共通点を提供する。
生物医学的な画像解析に焦点をあてるが、他の分野に転移する可能性があり、アドレス付き落とし穴はアプリケーションドメイン全体に一般化し、新しく作成されたドメインに依存しない分類法に従って分類される。
各落とし穴に付随する理解、イラスト、具体例を容易にする。
あらゆるレベルの専門知識を持つ研究者がアクセス可能な構造化された情報体系として、この研究は、画像分析バリデーションにおける重要なトピックのグローバル理解を強化する。 Validation metrics are key for the reliable tracking of scientific progress and for bridging the current chasm between artificial intelligence (AI) research and its translation into practice. However, increasing evidence shows that particularly in image analysis, metrics are often chosen inadequately in relation to the underlying research problem. This could be attributed to a lack of accessibility of metric-related knowledge: While taking into account the individual strengths, weaknesses, and limitations of validation metrics is a critical prerequisite to making educated choices, the relevant knowledge is currently scattered and poorly accessible to individual researchers. Based on a multi-stage Delphi process conducted by a multidisciplinary expert consortium as well as extensive community feedback, the present work provides the first reliable and comprehensive common point of access to information on pitfalls related to validation metrics in image analysis. Focusing on biomedical image analysis but with the potential of transfer to other fields, the addressed pitfalls generalize across application domains and are categorized according to a newly created, domain-agnostic taxonomy. To facilitate comprehension, illustrations and specific examples accompany each pitfall. As a structured body of information accessible to researchers of all levels of expertise, this work enhances global comprehension of a key topic in image analysis validation. | 翻訳日:2023-02-06 16:02:35 公開日:2023-02-03 |
| # エージェントによる人間行動モデリング」特集号によせて The Agent-based Modelling for Human Behaviour Special Issue ( http://arxiv.org/abs/2302.01789v1 ) ライセンス: Link先を確認 | Soo Ling Lim, Peter J. Bentley | (参考訳) もし人間の社会がそんなに複雑なら、どうやって理解したいと思うのか?
人工生命は一つの答えを与える。
人工生命の分野は様々な内省的な研究から成り、同じ質問を大々的に求めている。
私たちは誰ですか。
なぜ私たちのように振る舞うのか?
生命の起源から始めると、これらの質問に対する興味深い答えが得られます。
しかし、一部の研究者は研究を現代に近づけることを選択している。
結局のところ、私たちは人間です。
私たちの祖先が自己複製分子だったから、数十億年が経ちました。
したがって、私たちと私たちの社会のより直接的な研究は、実際的な知識につながるかもしれない真実を明らかにすることができる。
この特集の論文は、この種の研究を行う科学者を集結させるものだ。 If human societies are so complex, then how can we hope to understand them? Artificial Life gives us one answer. The field of Artificial Life comprises a diverse set of introspective studies that largely ask the same questions, albeit from many different perspectives: Why are we here? Who are we? Why do we behave as we do? Starting with the origins of life provides us with fascinating answers to some of these questions. However, some researchers choose to bring their studies closer to the present day. We are after all, human. It has been a few billion years since our ancestors were self-replicating molecules. Thus, more direct studies of ourselves and our human societies can reveal truths that may lead to practical knowledge. The papers in this special issue bring together scientists who choose to perform this kind of research. | 翻訳日:2023-02-06 16:02:13 公開日:2023-02-03 |
| # IMPORTANT-Net:アテンションネットワークを用いたMRIマルチパラメータ強化核融合装置 IMPORTANT-Net: Integrated MRI Multi-Parameter Reinforcement Fusion Generator with Attention Network for Synthesizing Absent Data ( http://arxiv.org/abs/2302.01788v1 ) ライセンス: Link先を確認 | Tianyu Zhang, Tao Tan, Luyi Han, Xin Wang, Yuan Gao, Jonas Teuwen, Regina Beets-Tan, Ritse Mann | (参考訳) MRIは乳房の病変検出に非常に敏感である。
異なる設定で得られた配列は、病変の特定の特徴を捉えることができる。
このようなマルチパラメータMRI情報は、病変分類における放射線学のパフォーマンスを向上させるとともに、様々なタスクにおける人工知能モデルの性能を向上させることが示されている。
しかし、多パラメータMRIの取得は、財務面と時間面の両方でコストがかかるため、特別な集団にとって安全上の懸念がある可能性があるため、MRIの完全スペクトルの取得がより困難になる。
本研究では,既存のMRIパラメータとネイティブな入力融合や特徴結合とは異なり,新しい$\textbf{I}$ntegrated MRI $\textbf{M}$ulti-$\textbf{P}$arameter reinf$\textbf{O}$rcement fusion generato$\textbf{R}$ wi$\textbf{T}$h $\textbf{A}$tte$\textbf{NT}$ion Network (IMANTANT-Net)を開発した。
まず、パラメータ再構成モジュールを使用して既存のMRIパラメータをエンコードして復元し、対応する潜在表現情報を任意のスケールレベルで取得する。
そして、アテンションモジュールとのマルチパラメータ融合により、アルゴリズム戦略の集合を通じて異なるパラメータから符号化された情報の相互作用を可能にし、情報融合後のアテンション機構を介して異なる重み付けを行い、洗練された表現情報を得る。
最後に、V^{-}$-shape生成モジュールに埋め込まれた強化融合スキームを用いて、階層表現を組み合わせて、欠落したMRIパラメータを生成する。
その結果、IMPORTANT-NetはMRIパラメーターの欠如を発生させ、同等の最先端ネットワークより優れた性能を発揮することがわかった。
私たちのコードはhttps://github.com/Netherlands-Cancer-Institute/MRI_IMPORTANT_NETで利用可能です。 Magnetic resonance imaging (MRI) is highly sensitive for lesion detection in the breasts. Sequences obtained with different settings can capture the specific characteristics of lesions. Such multi-parameter MRI information has been shown to improve radiologist performance in lesion classification, as well as improving the performance of artificial intelligence models in various tasks. However, obtaining multi-parameter MRI makes the examination costly in both financial and time perspectives, and there may be safety concerns for special populations, thus making acquisition of the full spectrum of MRI sequences less durable. In this study, different than naive input fusion or feature concatenation from existing MRI parameters, a novel $\textbf{I}$ntegrated MRI $\textbf{M}$ulti-$\textbf{P}$arameter reinf$\textbf{O}$rcement fusion generato$\textbf{R}$ wi$\textbf{T}$h $\textbf{A}$tte$\textbf{NT}$ion Network (IMPORTANT-Net) is developed to generate missing parameters. First, the parameter reconstruction module is used to encode and restore the existing MRI parameters to obtain the corresponding latent representation information at any scale level. Then the multi-parameter fusion with attention module enables the interaction of the encoded information from different parameters through a set of algorithmic strategies, and applies different weights to the information through the attention mechanism after information fusion to obtain refined representation information. Finally, a reinforcement fusion scheme embedded in a $V^{-}$-shape generation module is used to combine the hierarchical representations to generate the missing MRI parameter. Results showed that our IMPORTANT-Net is capable of generating missing MRI parameters and outperforms comparable state-of-the-art networks. Our code is available at https://github.com/Netherlands-Cancer-Institute/MRI_IMPORTANT_NET. | 翻訳日:2023-02-06 16:02:03 公開日:2023-02-03 |
| # ダイレクトマーケティングにおけるAIを用いた顧客プロファイリング、セグメンテーション、販売予測 Customer Profiling, Segmentation, and Sales Prediction using AI in Direct Marketing ( http://arxiv.org/abs/2302.01786v1 ) ライセンス: Link先を確認 | Mahmoud SalahEldin Kasem, Mohamed Hamada, Islam Taj-Eddin | (参考訳) 顧客中心のビジネス環境では、マーケティングとシニアマネジメントの効果的なコミュニケーションが成功に不可欠です。
グローバリゼーションの台頭と競争の激化により、潜在的な顧客を特定するために新しいデータマイニング技術を活用することが直接マーケティング活動に不可欠である。
本稿では,顧客株価推定や顧客行動予測など,営業実績を向上させる顧客プロファイルシステムの開発のためのデータマイニング前処理手法を提案する。
RFM分析手法は、クライアント資本と予測のためのブースティングツリーを評価するために使用される。
本研究は,予測精度を高めるために,顧客セグメンテーション手法とアルゴリズムの重要性を強調した。
本研究の主な成果は,顧客プロファイルの作成と商品販売の予測である。 In an increasingly customer-centric business environment, effective communication between marketing and senior management is crucial for success. With the rise of globalization and increased competition, utilizing new data mining techniques to identify potential customers is essential for direct marketing efforts. This paper proposes a data mining preprocessing method for developing a customer profiling system to improve sales performance, including customer equity estimation and customer action prediction. The RFM-analysis methodology is used to evaluate client capital and a boosting tree for prediction. The study highlights the importance of customer segmentation methods and algorithms to increase the accuracy of the prediction. The main result of this study is the creation of a customer profile and forecast for the sale of goods. | 翻訳日:2023-02-06 16:01:14 公開日:2023-02-03 |
| # 不均質集積マイクロピラーレーザーと電気注入により励起されるブライト半導体単一光子源 Bright Semiconductor Single-Photon Sources Pumped by Heterogeneously Integrated Micropillar lasers with Electrical Injections ( http://arxiv.org/abs/2302.01782v1 ) ライセンス: Link先を確認 | Xueshi Li, Shunfa Liu, Yuming Wei, Jiantao Ma, Changkun Song, Ying Yu, Rongbin Su, Wei Geng, Haiqiao Ni, Hanqing Liu, Xiangbin Su, Zhichuan Niu, Youling Chen and Jin Liu | (参考訳) 新たなハイブリッド集積量子フォトニクスは、異なる機能コンポーネントの利点を1つのチップに統合し、量子情報処理の厳しい要件を満たす。
iii-v量子エミッタとシリコンベースのフォトニック回路と超伝導単一光子検出器のハイブリッド結合の著しい進歩にもかかわらず、小型レーザーによる量子エミッタの低消費電力、小型デバイスフットプリント、優れたコヒーレンス特性を持つ単一光子源(spss)へのオンチップ光励起は、非常に望ましい。
本研究では,オンチップ電気インジェクトマイクロレーザーと不均一に結合した明るい半導体sing-photon源の実現について述べる。
ハイブリッド量子ドット(QD)フォトニックデバイスで実装された1対1の転写印刷技術とは異なり、複数の決定論的に結合されたQD循環ブラッググレーティング(CBG)SPSは、広視野フォトルミネッセンス(PL)イメージング技術によって補助される潜在的にスケーラブルな転写印刷プロセスを介して、電気的に注入されたマイクロピラーレーザと一度に統合された。
電気インジェクションマイクロレーザーにより光励起された純単一光子を、カウントレート3.8m/s、抽出効率25.44%の高輝度で生成する。
このような高輝度はCBGのキャビティモードによる増強によるもので、Purcell factor 2.5によって確認される。
我々の研究は、ハイブリッド集積量子フォトニクスを一般化するための強力なツールを提供し、特に高コンパクトでエネルギー効率でコヒーレントなSPSを実現するための開発を促進する。 The emerging hybrid integrated quantum photonics combines advantages of different functional components into a single chip to meet the stringent requirements for quantum information processing. Despite the tremendous progress in hybrid integrations of III-V quantum emitters with silicon-based photonic circuits and superconducting single-photon detectors, on-chip optical excitations of quantum emitters via miniaturized lasers towards single-photon sources (SPSs) with low power consumptions, small device footprints and excellent coherence properties is highly desirable yet illusive. In this work, we present realizations of bright semiconductor singe-photon sources heterogeneously integrated with on-chip electrically-injected microlasers. Different from previous one-by-one transfer printing technique implemented in hybrid quantum dot (QD) photonic devices, multiple deterministically coupled QD-circular Bragg Grating (CBG) SPSs were integrated with electrically-injected micropillar lasers at one time via a potentially scalable transfer printing process assisted by the wide-field photoluminescence (PL) imaging technique. Optically pumped by electrically-injected microlasers, pure single photons are generated with a high-brightness of a count rate of 3.8 M/s and an extraction efficiency of 25.44%. Such a high-brightness is due to the enhancement by the cavity mode of the CBG, which is confirmed by a Purcell factor of 2.5. Our work provides a powerful tool for advancing hybrid integrated quantum photonics in general and boosts the developments for realizing highly-compact, energy-efficient and coherent SPSs in particular. | 翻訳日:2023-02-06 16:01:02 公開日:2023-02-03 |
| # ニューマン・ムーア量子モデルにおけるフラクタル量子臨界性の欠如 Absence of fractal quantum criticality in the quantum Newman-Moore model ( http://arxiv.org/abs/2302.01773v1 ) ライセンス: Link先を確認 | R. Wiedmann, L. Lenke., M. M\"uhlhauser, K.P. Schmidt | (参考訳) 低磁場フラクトン相とII型フラクトン励起と高磁場偏極相の間の量子相転移を2次元量子ニューマン・ムーアモデルで検討した。
自己双対点におけるレベル交差を示す熱力学的極限におけるサイトごとの基底状態エネルギーを計算するために摂動的および数値的連結クラスター展開を適用する。
さらに、関連する低エネルギーギャップの高次級数展開は、ギャップクロースを示さない摂動連続ユニタリ変換を用いて決定される。
その結果, 自己双対点における低磁場フラクトンと高磁場分極相の1次相転移を予測した。 The quantum phase transition between the low-field fracton phase with type-II fracton excitations and the high-field polarized phase is investigated in the two-dimensional self-dual quantum Newman-Moore model. We apply perturbative and numerical linked-cluster expansions to calculate the ground-state energy per site in the thermodynamic limit revealing a level crossing at the self-dual point. In addition, high-order series expansions of the relevant low-energy gaps are determined using perturbative continuous unitary transformations indicating no gap-closing. Our results therefore predict a first-order phase transition between the low-field fracton and the high-field polarized phase at the self-dual point. | 翻訳日:2023-02-06 16:00:27 公開日:2023-02-03 |
| # 混合による固定:異種性を考慮した最適ビザンチンMLの準備 Fixing by Mixing: A Recipe for Optimal Byzantine ML under Heterogeneity ( http://arxiv.org/abs/2302.01772v1 ) ライセンス: Link先を確認 | Youssef Allouah, Sadegh Farhadkhani, Rachid Guerraoui, Nirupam Gupta, Rafael Pinot, John Stephan | (参考訳) Byzantine Machine Learning (ML)は、分散学習アルゴリズムの回復力を確保することを目的としている。
この問題は大きな注目を集めたが、先行研究はしばしばマシンが保持するデータは均質であると仮定しており、実際的な環境ではほとんど当てはまらない。
ビザンチンマシンは非ビザンチン異常機と区別できないため、データの多様性はビザンチンmlをかなり困難にする。
この問題に取り組むためにいくつかの解決策が提案されているが、これらは準最適確率的保証を提供し、実際には不利である。
本稿では, 理論的ギャップを埋め, 最適性を達成し, 良好な実験結果を得る。
実際、既存の(均質な)ビザンチンmlの解を自動的にヘテロジニアス・ミキシング(nnm)と呼ぶ強力な機構によってヘテロジニアス設定に適応させる方法を示す。
分布勾配降下の実用的な代用として, 分布確率的重球法において, nnmを挿入することにより, 同様の保証を得る。
我々は、最先端のビザンチンMLソリューションを著しく上回る実験結果を得た。 Byzantine machine learning (ML) aims to ensure the resilience of distributed learning algorithms to misbehaving (or Byzantine) machines. Although this problem received significant attention, prior works often assume the data held by the machines to be homogeneous, which is seldom true in practical settings. Data heterogeneity makes Byzantine ML considerably more challenging, since a Byzantine machine can hardly be distinguished from a non-Byzantine outlier. A few solutions have been proposed to tackle this issue, but these provide suboptimal probabilistic guarantees and fare poorly in practice. This paper closes the theoretical gap, achieving optimality and inducing good empirical results. In fact, we show how to automatically adapt existing solutions for (homogeneous) Byzantine ML to the heterogeneous setting through a powerful mechanism, we call nearest neighbor mixing (NNM), which boosts any standard robust distributed gradient descent variant to yield optimal Byzantine resilience under heterogeneity. We obtain similar guarantees (in expectation) by plugging NNM in the distributed stochastic heavy ball method, a practical substitute to distributed gradient descent. We obtain empirical results that significantly outperform state-of-the-art Byzantine ML solutions. | 翻訳日:2023-02-06 16:00:14 公開日:2023-02-03 |
| # 標準検証以上の深層学習に基づく統計的ダウンスケーリングをインフォームする説明可能性の利用 Using Explainability to Inform Statistical Downscaling Based on Deep Learning Beyond Standard Validation Approaches ( http://arxiv.org/abs/2302.01771v1 ) ライセンス: Link先を確認 | Jose Gonz\'alez-Abad, Jorge Ba\~no-Medina, Jos\'e Manuel Guti\'errez | (参考訳) 深層学習(DL)は、完全予後(PP)アプローチに従って、大規模大気圏から地域規模から地域スケールまでの気候予測をダウンスケールするための有望なツールとして登場した。
これらの複雑さから、特に外挿・一般化能力が鍵となる気候条件の変化に適用する場合、これらの手法を適切に評価することが重要である。
本研究では,この論文から抽出した複数のDLモデル(CORDEX North Americaドメインのダウンスケーリング温度)を相互比較し,eXplainable Artifical Intelligence(XAI)技術に基づく標準評価手法を拡張した。
これらの手法をモデルの内部動作の解明に活用し,新たな評価次元を提供し,その診断と設計を支援する方法を示す。
これらの結果は,特に大規模地域や気候変動条件下での作業において,XAI手法を統計的ダウンスケーリング評価フレームワークに組み込むことの有用性を示している。 Deep learning (DL) has emerged as a promising tool to downscale climate projections at regional-to-local scales from large-scale atmospheric fields following the perfect-prognosis (PP) approach. Given their complexity, it is crucial to properly evaluate these methods, especially when applied to changing climatic conditions where the ability to extrapolate/generalise is key. In this work, we intercompare several DL models extracted from the literature for the same challenging use-case (downscaling temperature in the CORDEX North America domain) and expand standard evaluation methods building on eXplainable artifical intelligence (XAI) techniques. We show how these techniques can be used to unravel the internal behaviour of these models, providing new evaluation dimensions and aiding in their diagnostic and design. These results show the usefulness of incorporating XAI techniques into statistical downscaling evaluation frameworks, especially when working with large regions and/or under climate change conditions. | 翻訳日:2023-02-06 15:59:49 公開日:2023-02-03 |
| # 双目的最適化を用いたpinnトレーニング:データ損失と残差損失のトレードオフ PINN Training using Biobjective Optimization: The Trade-off between Data Loss and Residual Loss ( http://arxiv.org/abs/2302.01810v1 ) ライセンス: Link先を確認 | Fabian Heldmann, Sarah Berkhahn, Matthias Ehrhardt, Kathrin Klamroth | (参考訳) 物理情報ニューラルネットワーク(PINN)は、測定されたデータが利用可能であり、データのダイナミクスがいくつかの物理法則に従うと期待される問題を表現するための効率的なツールであることが証明されている。
本稿では,データ損失と残留損失を2つの個別目的関数として扱うことにより,PINNのトレーニングに対する多目的視点を提案する。
例として,ドイツにおけるcovid-19の予測を考察し,感染拡大率のモデル化と今後の感染予測のために,漏洩性・入院性集団モデル(svihrモデル)も検討した。
SIR型モデルは、通常の微分方程式(ODE)の系で表される。
生成したPINNのCOVID-19予測に対する適合性について検討し,その予測曲線をODEと初期データに非標準有限差分法を適用した結果と比較した。
このアプローチは、動的レシエーションを定義するODEの様々なシステムに適用できる。
これらのレジームはSIR型モデルを必要としないため、対応するデータセットはCOVID-19と関連付けられなくてもよい。 Physics informed neural networks (PINNs) have proven to be an efficient tool to represent problems for which measured data are available and for which the dynamics in the data are expected to follow some physical laws. In this paper, we suggest a multiobjective perspective on the training of PINNs by treating the data loss and the residual loss as two individual objective functions in a truly biobjective optimization approach. As a showcase example, we consider COVID-19 predictions in Germany and built an extended susceptibles-infected-recovered (SIR) model with additionally considered leaky-vaccinated and hospitalized populations (SVIHR model) to model the transition rates and to predict future infections. SIR-type models are expressed by systems of ordinary differential equations (ODEs). We investigate the suitability of the generated PINN for COVID-19 predictions and compare the resulting predicted curves with those obtained by applying the method of non-standard finite differences to the system of ODEs and initial data. The approach is applicable to various systems of ODEs that define dynamical regimes. Those regimes do not need to be SIR-type models, and the corresponding underlying data sets do not have to be associated with COVID-19. | 翻訳日:2023-02-06 15:52:55 公開日:2023-02-03 |
| # ナノフォトニック三量体における非ヘルミット零モードレーザー Non-Hermitian zero mode laser in a nanophotonic trimer ( http://arxiv.org/abs/2302.01809v1 ) ライセンス: Link先を確認 | Kaiwen Ji, Bruno Garbin, Melissa Hedir, Juan A. Levenson, and Alejandro Yacomotti | (参考訳) 結合光学素子の配列における対称性保護ゼロモードは、結合障害に対する堅牢性が期待できるため、かなりの注目を集めている。
エルミート極限では、ゼロモードはダークモード、すなわち1つの部分格子の強度は消滅するが、非エルミートモードの場合、ゼロモードは明るくなり、部分格子間の位相差を特徴付けることができる。
本稿では,非エルミート型3結合ナノキャビティアレイにおける発振零モードの直接観察について報告する。
2つの極端キャビティにおいて、ほぼ等しいポンプパワーの効率的な励起を示す。
さらに、その効率は中心空洞をポンプすることで動的に制御できる。
多数の結合ナノレーザーによるゼロモード発振の実現は、レーザーモード工学における潜在的な応用であり、光コンピューティングにおける有望な道を開く。 Symmetry-protected zero modes in arrays of coupled optical elements have attracted considerable attention because they are expected to be robust against coupling disorders. In the Hermitian limit, zero modes are dark ones, i.e. the intensity in one sublattice vanishes; yet, in a non-Hermitian counterpart, zero modes can be bright and feature {\pi}/2 phase difference between sublattices. In this work, we report on the direct observation of a lasing zero mode in a non-Hermitian three coupled nanocavity array. We show efficient excitation for nearly equal pump power in the two extreme cavities. Furthermore, its efficiency can be dynamically controlled by pumping the center cavity. The realization of zero mode lasing in large arrays of coupled nanolasers has potential applications in laser-mode engineering and it opens up promising avenues in optical computing. | 翻訳日:2023-02-06 15:52:35 公開日:2023-02-03 |
| # 大規模言語モデルにおけるデータ不足の軽減 Mitigating Data Scarcity for Large Language Models ( http://arxiv.org/abs/2302.01806v1 ) ライセンス: Link先を確認 | Hoang Van | (参考訳) 近年、事前学習されたニューラル言語モデル(pnlms)は、ストームによる自然言語処理の分野を取り上げ、新しいベンチマークと最先端のパフォーマンスを達成している。
これらのモデルは、しばしば注釈付きデータに大きく依存するが、必ずしも利用可能とは限らない。
データ不足は、医学などの専門分野や、AI研究によって調査されていない低リソース言語でよく見られる。
この論文では、ニューラルネットワークモデルのためのデータ強化とニューラルアンサンブル学習技術を用いて、データの不足を軽減することに焦点を当てる。
どちらの研究もニューラルネットワークアルゴリズムを実装し,下流nlpタスクにおけるニューラルネットワークモデル支援への影響を評価した。
具体的には、データ拡張のために、2つのテクニックを探求します。
1) 回答を元の文脈に散らばってポジティブなトレーニングデータを作成すること
2) テキスト簡易化手法を用いて, 元の学習データに様々な書き方を導入する。
その結果,低リソースのNLPドメインやタスクにおいて,ニューラルネットワークモデルの性能が大幅に向上することが示唆された。
ニューラルアンサンブル学習では,複数ラベルのニューラルネットワーク分類器を用いて,低リソースの医療用テキスト簡易化タスクのために訓練された,個別学習済みのニューラルネットワークモデルから最適な予測結果を選択する。 In recent years, pretrained neural language models (PNLMs) have taken the field of natural language processing by storm, achieving new benchmarks and state-of-the-art performances. These models often rely heavily on annotated data, which may not always be available. Data scarcity are commonly found in specialized domains, such as medical, or in low-resource languages that are underexplored by AI research. In this dissertation, we focus on mitigating data scarcity using data augmentation and neural ensemble learning techniques for neural language models. In both research directions, we implement neural network algorithms and evaluate their impact on assisting neural language models in downstream NLP tasks. Specifically, for data augmentation, we explore two techniques: 1) creating positive training data by moving an answer span around its original context and 2) using text simplification techniques to introduce a variety of writing styles to the original training data. Our results indicate that these simple and effective solutions improve the performance of neural language models considerably in low-resource NLP domains and tasks. For neural ensemble learning, we use a multilabel neural classifier to select the best prediction outcome from a variety of individual pretrained neural language models trained for a low-resource medical text simplification task. | 翻訳日:2023-02-06 15:52:21 公開日:2023-02-03 |
| # Einstein-Podolsky-Rosen-Bohm実験のデータに対するモデル自由不等式 Model-free inequality for data of Einstein-Podolsky-Rosen-Bohm experiments ( http://arxiv.org/abs/2302.01805v1 ) ライセンス: Link先を確認 | Hans De Raedt, Mikhail I. Katsnelson, Manpreet S. Jattana, Vrinda Mehta, Madita Willsch, Dennis Willsch, Kristel Michielsen, Fengping Jin | (参考訳) Einstein-Podolsky-Rosen-Bohm実験で得られた不等式制約相関について述べる。
この証明は、データを生成したと想像される数学的モデルに頼らず、従って '`model-free'' である。
新しい不等式には、有名なBell-CHSH不等式のモデルフリー版が特別なケースとして含まれている。
後者の違反は、4つのデータセットのすべてのデータペアをリシャッフルして4重項を生成することができないことを意味する。
この結論は、実験データによるベル型不等式違反の新たな展望を与える。 We present a new inequality constraining correlations obtained when performing Einstein-Podolsky-Rosen-Bohm experiments. The proof does not rely on mathematical models that are imagined to have produced the data and is therefore ``model-free''. The new inequality contains the model-free version of the well-known Bell-CHSH inequality as a special case. A violation of the latter implies that not all the data pairs in four data sets can be reshuffled to create quadruples. This conclusion provides a new perspective on the implications of the violation of Bell-type inequalities by experimental data. | 翻訳日:2023-02-06 15:52:04 公開日:2023-02-03 |
| # FR3D:等角写像支援畳み込みオートエンコーダによる任意ブラフ体まわりの非定常流れの3次元流れ再構成と力推定 FR3D: Three-dimensional Flow Reconstruction and Force Estimation for Unsteady Flows Around Arbitrary Bluff Bodies via Conformal Mapping Aided Convolutional Autoencoders ( http://arxiv.org/abs/2302.01802v1 ) ライセンス: Link先を確認 | Ali Girayhan \"Ozbay and Sylvain Laizet | (参考訳) 多くの実用的な流体力学実験では、速度や圧力などの変数を計測することは、限られた数個のセンサー位置またはフロー内の数次元平面でのみ可能である。
しかし、多くの流れのダイナミクスを理解するためには、全分野の知識が必要である。
近年,この限界を克服する手段として,スパース計測によるフルフローフィールドの深層学習再構築が注目されている。
このタスクは、フロー再構成(FR)タスクと呼ばれる。
本研究では,任意の断面を持つ押出3次元物体まわりの3次元流れに対してfrを適用可能な畳み込みオートエンコーダに基づくニューラルネットワークモデルfr3dを提案する。
複数の流体ドメインを環状にマッピングする革新的なマッピング手法により、FR3Dはその性能を訓練中に遭遇しない物体に一般化することができる。
この一般化機能を80のトレーニングと20のテストジオメトリからなるデータセットを使って決定的に実証する。
FR3Dモデルは数ポイントの誤差で圧力と速度の成分を再構成する。
さらに,これらの予測値を用いて,q基準場を高精度に推定し,測地線上の揚力と引きずり力を推定した。 In many practical fluid dynamics experiments, measuring variables such as velocity and pressure is possible only at a limited number of sensor locations, or for a few two-dimensional planes in the flow. However, knowledge of the full fields is necessary to understand the dynamics of many flows. Deep learning reconstruction of full flow fields from sparse measurements has recently garnered significant research interest, as a way of overcoming this limitation. This task is referred to as the flow reconstruction (FR) task. In the present study, we propose a convolutional autoencoder based neural network model, dubbed FR3D, which enables FR to be carried out for three-dimensional flows around extruded 3D objects with arbitrary cross-sections. An innovative mapping approach, whereby multiple fluid domains are mapped to an annulus, enables FR3D to generalize its performance to objects not encountered during training. We conclusively demonstrate this generalization capability using a dataset composed of 80 training and 20 testing geometries, all randomly generated. We show that the FR3D model reconstructs pressure and velocity components with a few percentage points of error. Additionally, using these predictions, we accurately estimate the Q-criterion fields as well lift and drag forces on the geometries. | 翻訳日:2023-02-06 15:51:56 公開日:2023-02-03 |
| # 条件付き可逆ニューラルネットワークを用いた任意決定論的予測からの確率予測の作成 Creating Probabilistic Forecasts from Arbitrary Deterministic Forecasts using Conditional Invertible Neural Networks ( http://arxiv.org/abs/2302.01800v1 ) ライセンス: Link先を確認 | Kaleb Phipps and Benedikt Heidrich and Marian Turowski and Moritz Wittig and Ralf Mikut and Veit Hagenmeyer | (参考訳) 様々な応用において、予測に関連する固有の不確かさを定量化するために確率予測が必要である。
しかし、多くの現代的な予測手法はまだ決定論的予測を作成するために設計されている。
これらの決定論的予測を確率論的予測に変換することはしばしば困難であり、現実の状況では成り立たない多くの仮定に基づいている。
そこで本稿では,任意の決定論的予測から確率論的予測を生成する新しい手法を提案する。
このアプローチを実現するために、条件付き可逆ニューラルネットワーク(cINN)を用いる。
より具体的には、cinnを使ってデータの基盤となる分布を学習し、この分布からの不確実性と任意の決定論的予測を組み合わせて正確な確率的予測を生成する。
我々のアプローチは、複雑な統計的損失関数やさらなる仮定を伴わずに、確率予測を簡単に作成できる。
提案手法の数学的妥当性を示すことに加えて, 従来手法よりも決定論的予測の不確実性を含む手法が顕著に優れ, 概ね最先端の確率的予測ベンチマークを上回っていることを実証的に示す。 In various applications, probabilistic forecasts are required to quantify the inherent uncertainty associated with the forecast. However, numerous modern forecasting methods are still designed to create deterministic forecasts. Transforming these deterministic forecasts into probabilistic forecasts is often challenging and based on numerous assumptions that may not hold in real-world situations. Therefore, the present article proposes a novel approach for creating probabilistic forecasts from arbitrary deterministic forecasts. In order to implement this approach, we use a conditional Invertible Neural Network (cINN). More specifically, we apply a cINN to learn the underlying distribution of the data and then combine the uncertainty from this distribution with an arbitrary deterministic forecast to generate accurate probabilistic forecasts. Our approach enables the simple creation of probabilistic forecasts without complicated statistical loss functions or further assumptions. Besides showing the mathematical validity of our approach, we empirically show that our approach noticeably outperforms traditional methods for including uncertainty in deterministic forecasts and generally outperforms state-of-the-art probabilistic forecasting benchmarks. | 翻訳日:2023-02-06 15:51:35 公開日:2023-02-03 |
| # 層変動解析による領域適応の解釈 Interpretations of Domain Adaptations via Layer Variational Analysis ( http://arxiv.org/abs/2302.01798v1 ) ライセンス: Link先を確認 | Huan-Hsin Tseng, Hsin-Yi Lin, Kuo-Hsuan Hung and Yu Tsao | (参考訳) 転送学習は、多くのアプリケーションで経験的に効率的に行うことが知られているが、限られた文献では、シーンの背後にあるメカニズムを報告している。
本研究は,Deep Learningにおける伝達学習理論を定式化するために,形式的導出とヒューリスティック解析の両方を確立する。
層変動解析を用いたフレームワークは, トランスファー学習の成功が, 対応するデータ条件で保証できることを実証する。
さらに,この理論計算は知識伝達過程に対する直感的な解釈をもたらす。
その後、ネットワークベース転送学習の代替方法が導出される。
本手法は,ドメイン適応における効率と精度の向上を示す。
新しいドメインデータが適応中に十分にスパースである場合、特に有利である。
各種課題に対する数値実験により, 解析式が勾配降下法よりも, 領域適応において優れた性能を示した。 Transfer learning is known to perform efficiently in many applications empirically, yet limited literature reports the mechanism behind the scene. This study establishes both formal derivations and heuristic analysis to formulate the theory of transfer learning in deep learning. Our framework utilizing layer variational analysis proves that the success of transfer learning can be guaranteed with corresponding data conditions. Moreover, our theoretical calculation yields intuitive interpretations towards the knowledge transfer process. Subsequently, an alternative method for network-based transfer learning is derived. The method shows an increase in efficiency and accuracy for domain adaptation. It is particularly advantageous when new domain data is sufficiently sparse during adaptation. Numerical experiments over diverse tasks validated our theory and verified that our analytic expression achieved better performance in domain adaptation than the gradient descent method. | 翻訳日:2023-02-06 15:51:18 公開日:2023-02-03 |
| # ゼロおよび有限温度における量子忠実性に現れる量子相転移のシグネチャ Signature of quantum phase transition manifested in quantum fidelity at zero and finite temperatures ( http://arxiv.org/abs/2302.01795v1 ) ライセンス: Link先を確認 | Protyush Nandi, Sirshendu Bhattacharyya and Subinay Dasgupta | (参考訳) 量子相転移のシグネチャは一般に有限温度で消去される。
非解析的行動を通じてこのシグネチャを運ぶために観測された少量の量は、低温のみに限られる。
しかし,我々は最近,低温領域を超えた量子臨界点において非解析的シグネチャを持つ可能性を持つ量子忠実性関数を構築した。
異なる次元の多体ハミルトニアンに対して、対応する速度関数の挙動と非解析性の堅牢性を示す。
また、我々の速度関数は、ゼロ温度での動的量子相転移(DQPT)の実証に使用されるものまで減少することを示した。
さらに、DQPTとは異なり、速度関数の長い時間制限は平衡量子相転移を忠実に検出することができることが観察されている。 The signature of quantum phase transition is generally wiped out at finite temperature. A few quantities that has been observed to carry this signature through a non-analytic behavior are also limited to low temperatures only. However, we have recently constructed a function from the quantum fidelity which has the potential to bear a non-analytic signature at the quantum critical point beyond low temperature regime. We demonstrate the behavior of the corresponding rate function and the robustness of the non-analyticity over a number of many-body Hamiltonians in different dimensions. We have also shown that our rate function reduces to that used in the demonstration of the dynamical quantum phase transition (DQPT) at zero temperature. It has been further observed that, unlike DQPT, the long time limit of the rate function can faithfully detect the equilibrium quantum phase transition as well. | 翻訳日:2023-02-06 15:51:06 公開日:2023-02-03 |
| # リモートセンシング画像シーン分類のための自己教師付きドメイン内表現学習 Self-Supervised In-Domain Representation Learning for Remote Sensing Image Scene Classification ( http://arxiv.org/abs/2302.01793v1 ) ライセンス: Link先を確認 | Ali Ghanbarzade and Hossein Soleimani | (参考訳) imagenetのトレーニング済みの重みをさまざまなリモートセンシングタスクに移すことで、許容できる結果が得られ、ラベル付きサンプルの必要性が減った。
しかし、地上画像とリモートセンシング画像の領域差は、そのような転送学習の性能を制限している。
近年の研究では、自己教師あり学習法が、教師ありイメージネット重みよりも識別可能で移動しやすい視覚特徴を捉えることが示されている。
コントラスト的自己教師付き学習を用いて、リモートセンシング画像のドメイン内表現を事前学習し、学習した機能を他の関連するリモートセンシングデータセットに転送する。
具体的には、SimSiamアルゴリズムを用いて、リモートセンシングデータセットのドメイン内知識を事前学習し、得られた重み付けを他のシーン分類データセットに転送した。
そこで,我々は,クラス数や空間分解能の異なる5つの土地被覆分類データセットについて最新の結果を得た。
さらに,属性の異なるデータセットを用いた機能の事前トレーニングを含む適切な実験を行うことで,データ集合をドメイン内特徴の獲得に適した選択肢とする最も影響力のある要因を特定した。
我々は,リモートセンシングデータセット上でsimsiamを事前トレーニングした特徴を下流タスクに移し,それらを微調整のための初期重みとして用いた。
さらに,1クラスあたりのサンプル数が制限された場合に得られた表現を線形に評価した。
実験では,自己教師付き事前学習段階における高分解能データセットの利用により,より識別的,一般表現の学習が可能になることを実証した。 Transferring the ImageNet pre-trained weights to the various remote sensing tasks has produced acceptable results and reduced the need for labeled samples. However, the domain differences between ground imageries and remote sensing images cause the performance of such transfer learning to be limited. Recent research has demonstrated that self-supervised learning methods capture visual features that are more discriminative and transferable than the supervised ImageNet weights. We are motivated by these facts to pre-train the in-domain representations of remote sensing imagery using contrastive self-supervised learning and transfer the learned features to other related remote sensing datasets. Specifically, we used the SimSiam algorithm to pre-train the in-domain knowledge of remote sensing datasets and then transferred the obtained weights to the other scene classification datasets. Thus, we have obtained state-of-the-art results on five land cover classification datasets with varying numbers of classes and spatial resolutions. In addition, By conducting appropriate experiments, including feature pre-training using datasets with different attributes, we have identified the most influential factors that make a dataset a good choice for obtaining in-domain features. We have transferred the features obtained by pre-training SimSiam on remote sensing datasets to various downstream tasks and used them as initial weights for fine-tuning. Moreover, we have linearly evaluated the obtained representations in cases where the number of samples per class is limited. Our experiments have demonstrated that using a higher-resolution dataset during the self-supervised pre-training stage results in learning more discriminative and general representations. | 翻訳日:2023-02-06 15:50:55 公開日:2023-02-03 |
| # NISQデバイスにおけるMaxCut問題に対するQAOAの回路切断効果の検討 Investigating the effect of circuit cutting in QAOA for the MaxCut problem on NISQ devices ( http://arxiv.org/abs/2302.01792v1 ) ライセンス: Link先を確認 | Marvin Bechtold, Johanna Barzen, Frank Leymann, Alexander Mandl, Julian Obst, Felix Truger, Benjamin Weder | (参考訳) ノイズ中間スケール量子(NISQ)デバイスは、量子ビット数の制限と短いデコヒーレンス時間によって制限される。
これらの問題に対処するアプローチは量子回路切断である。
これは大きな量子回路の実行を複数の小さな量子回路に分解し、さらに古典的な後処理を行う。
これらの小さな量子回路は量子ビットやゲートを少なくするので、NISQデバイスに適している。
nisqデバイスを対象とした量子アルゴリズムにおける量子回路切断の効果を調べるために,最大カット(最大カット)問題に対する量子近似最適化アルゴリズム(qaoa)を用いた2つの実験を設計・実施した。
第1実験では,回路切断がQAOAの目的関数に与える影響について検討し,第2実験では,回路切断による全アルゴリズムによる結果の質を評価する。
その結果、回路切断はqaoaのノイズの影響を低減できるため、アルゴリズムはnisqデバイスにより良い解決策をもたらすことがわかった。 Noisy Intermediate-Scale Quantum (NISQ) devices are restricted by their limited number of qubits and their short decoherence times. An approach addressing these problems is quantum circuit cutting. It decomposes the execution of a large quantum circuit into the execution of multiple smaller quantum circuits with additional classical postprocessing. Since these smaller quantum circuits require fewer qubits and gates, they are more suitable for NISQ devices. To investigate the effect of quantum circuit cutting in a quantum algorithm targeting NISQ devices, we design two experiments using the Quantum Approximate Optimization Algorithm (QAOA) for the Maximum Cut (MaxCut) problem and conduct them on state-of-the-art superconducting devices. Our first experiment studies the influence of circuit cutting on the objective function of QAOA, and the second evaluates the quality of results obtained by the whole algorithm with circuit cutting. The results show that circuit cutting can reduce the effects of noise in QAOA, and therefore, the algorithm yields better solutions on NISQ devices. | 翻訳日:2023-02-06 15:50:30 公開日:2023-02-03 |
| # 医学的ナラティブエッセイにおける共感分類課題の様式的プロファイルの検討 Investigating Stylistic Profiles for the Task of Empathy Classification in Medical Narrative Essays ( http://arxiv.org/abs/2302.01839v1 ) ライセンス: Link先を確認 | Priyanka Dey and Roxana Girju | (参考訳) 言語の重要な側面の1つは、話者が意図した意味を伝えるために発話やテキストを生成する方法である。
本稿では,構築文法 (CxG) と体系関数文法 (SFG) 理論の様々な側面を深層学習計算フレームワークに導入し,共感型言語をモデル化する。
当社のコーパスは,患者と医師の相互作用を模擬した440のエッセイから成り立っている。
ベースライン分類器(最先端のリカレントニューラルネットワークとトランスフォーマーモデル)から始める。
次に,このデータに対する共感分類のタスクにおいて,この新しいアプローチの重要性を実証する一連の言語構成によって,これらのモデルを強化する。
以上の結果から,一対一の物語エッセイの全体的共感プロファイルに寄与する可能性が示唆された。 One important aspect of language is how speakers generate utterances and texts to convey their intended meanings. In this paper, we bring various aspects of the Construction Grammar (CxG) and the Systemic Functional Grammar (SFG) theories in a deep learning computational framework to model empathic language. Our corpus consists of 440 essays written by premed students as narrated simulated patient-doctor interactions. We start with baseline classifiers (state-of-the-art recurrent neural networks and transformer models). Then, we enrich these models with a set of linguistic constructions proving the importance of this novel approach to the task of empathy classification for this dataset. Our results indicate the potential of such constructions to contribute to the overall empathy profile of first-person narrative essays. | 翻訳日:2023-02-06 15:44:40 公開日:2023-02-03 |
| # vMAP:ニューラルネットワークSLAMのためのベクトルオブジェクトマッピング vMAP: Vectorised Object Mapping for Neural Field SLAM ( http://arxiv.org/abs/2302.01838v1 ) ライセンス: Link先を確認 | Xin Kong, Shikun Liu, Marwan Taher, Andrew J. Davison | (参考訳) ニューラルネットワーク表現を用いたオブジェクトレベルの高密度SLAMシステムであるvMAPを提案する。
それぞれのオブジェクトは小さなMLPで表現され、3Dプリエントを必要とせずに効率よく水密なオブジェクトモデリングを可能にする。
rgb-dカメラが事前情報なしでシーンを閲覧すると、vmapはオブジェクトインスタンスをオンザフライで検出し、動的に追加する。
具体的には、ベクトル化されたトレーニングのパワーのおかげで、vmapは1シーンで最大50個の個々のオブジェクトを最適化でき、非常に効率的なトレーニング速度は5hzのマップ更新になる。
従来の SLAM システムと比較して,シーンレベルおよびオブジェクトレベルの再構成品質が有意に向上した。 We present vMAP, an object-level dense SLAM system using neural field representations. Each object is represented by a small MLP, enabling efficient, watertight object modelling without the need for 3D priors. As an RGB-D camera browses a scene with no prior information, vMAP detects object instances on-the-fly, and dynamically adds them to its map. Specifically, thanks to the power of vectorised training, vMAP can optimise as many as 50 individual objects in a single scene, with an extremely efficient training speed of 5Hz map update. We experimentally demonstrate significantly improved scene-level and object-level reconstruction quality compared to prior neural field SLAM systems. | 翻訳日:2023-02-06 15:44:27 公開日:2023-02-03 |
| # 遺伝的アルゴリズムを用いた弾性超伝導素子設計 Resilient superconducting-element design with genetic algorithms ( http://arxiv.org/abs/2302.01837v1 ) ライセンス: Link先を確認 | F. A. C\'ardenas-L\'opez, J. C. Retamal, Xi Chen, G. Romero, M. Sanz | (参考訳) 本稿では,原子エネルギースペクトルと選択規則を示す超伝導量子回路を,遺伝的アルゴリズムを用いて設計したラダーおよびラムダ3レベル構成として提示する。
これらのヒューリスティック最適化手法は、必要なエネルギーレベルと関連する遷移行列要素に適合する適切なアーキテクチャを見つけるために、一連の電気回路の位相とパラメータを適応するために用いられる。
1次元のシングルループおよびマルチループ回路上でのオプティマイザの性能を分析し、特定の遷移行列要素を持つラダー(\xi$)およびラムダ(\lambda$)3レベルシステムを設計する。
予想通り、必要なエネルギースペクトルと必要な選択規則の両方を達成することはシングルループ回路では難しいが、2ループでも正確に得ることができる。
さらに,我々のマルチループ回路は,回路パラメータのランダムなゆらぎ,すなわち最終的な製造欠陥の下では堅牢であることを示す。
自動回路量子化のための最適化アルゴリズムの開発は、大規模なセットアップでモジュールとして使用される特定の対称性を持つ超伝導回路を工学的に設計する道を開き、量子プロセッサの第一世代で観測される既知の電流誤差を緩和する可能性がある。 We present superconducting quantum circuits which exhibit atomic energy spectrum and selection rules as ladder and lambda three-level configurations designed by means of genetic algorithms. These heuristic optimization techniques are employed for adapting the topology and the parameters of a set of electrical circuits to find the suitable architecture matching the required energy levels and relevant transition matrix elements. We analyze the performance of the optimizer on one-dimensional single- and multi-loop circuits to design ladder ($\Xi$) and lambda ($\Lambda$) three-level system with specific transition matrix elements. As expected, attaining both the required energy spectrum and the needed selection rules is challenging for single-loop circuits, but they can be accurately obtained even with just two loops. Additionally, we show that our multi-loop circuits are robust under random fluctuation in their circuital parameters, i.e. under eventual fabrication flaws. Developing an optimization algorithm for automatized circuit quantization opens an avenue to engineering superconducting circuits with specific symmetry to be used as modules within large-scale setups, which may allow us to mitigate the well-known current errors observed in the first generation of quantum processors. | 翻訳日:2023-02-06 15:44:14 公開日:2023-02-03 |
| # 微視的モデルによるバルク-バウンダリーアノン核融合 Bulk-to-boundary anyon fusion from microscopic models ( http://arxiv.org/abs/2302.01835v1 ) ライセンス: Link先を確認 | Julio C. Magdalena de la Fuente, Jens Eisert, Andreas Bauer | (参考訳) 正準欠陥の操作に基づくトポロジカル量子誤差補正は、フォールトトレラント量子デバイスの実現に向けた最も有望なフレームワークの1つである。
したがって、これらの欠陥が境界やドメインの壁といった外部の欠陥とどのように相互作用するかを理解することが不可欠である。
この線で動機づけられたこの研究では、任意の融合圏で定義される2+1次元非キラルトポロジカル秩序の固定点モデルにおいて、バルクおよび境界におけるエノン間の融合事象を研究する。
本構成は一般化された管代数学手法を用いてバルク欠陥と境界欠陥の二重表現を構築する。
我々は、ツイスト量子二重モデルに対するバルク・ツー・バウンダリ融合事象の融合乗数を計算する公式を明示的に導出し、アベリアモデルと最も単純な非アベリア群理論モデルであるS3の(ツイストされた)量子二重モデルに対する模範核融合事象を計算する。
さらに、この折りたたみ手法を用いて、ねじれたS3とねじられたZ2とZ3モデルの間の非自明な領域壁における正準挙動を研究する。
我々の構成における繰り返しのテーマは、ツイストコホモロジー群を未修正群に関連付ける同型である。
この研究の結果は、有限群のツイストゲージ理論によって記述された境界を持つ2次元位相誤差補正符号の論理作用素を直接的に研究することができる。 Topological quantum error correction based on the manipulation of the anyonic defects constitutes one of the most promising frameworks towards realizing fault-tolerant quantum devices. Hence, it is crucial to understand how these defects interact with external defects such as boundaries or domain walls. Motivated by this line of thought, in this work, we study the fusion events between anyons in the bulk and at the boundary in fixed-point models of 2+1-dimensional non-chiral topological order defined by arbitrary fusion categories. Our construction uses generalized tube algebra techniques to construct a bi-representation of bulk and boundary defects. We explicitly derive a formula to calculate the fusion multiplicities of a bulk-to-boundary fusion event for twisted quantum double models and calculate some exemplary fusion events for Abelian models and the (twisted) quantum double model of S3, the simplest non-Abelian group-theoretical model. Moreover, we use the folding trick to study the anyonic behavior at non-trivial domain walls between twisted S3 and twisted Z2 as well as Z3 models. A recurring theme in our construction is an isomorphism relating twisted cohomology groups to untwisted ones. The results of this work can directly be applied to study logical operators in two-dimensional topological error correcting codes with boundaries described by a twisted gauge theory of a finite group. | 翻訳日:2023-02-06 15:43:54 公開日:2023-02-03 |
| # インダクティブ変圧器ヘッドのインダクティブガイド Coinductive guide to inductive transformer heads ( http://arxiv.org/abs/2302.01834v1 ) ライセンス: Link先を確認 | Adam Nemecek | (参考訳) 我々は、トランスフォーマーモデルの全ての構成要素は単一の概念:組合せホップ代数で表現できると主張する。
トランスフォーマー学習は、組合せホップ代数の代数的操作と代数的操作の間の微妙な相互作用の結果生じる。
このレンズを通して見たトランスモデルは、注意機構が一般化畳み込み変換を計算し、残ストリームが単位インパルスとして機能する線形時間不変システムとなる。
注意のみのトランスフォーマーは、これら2つのパスの間に不変性を持たせることによって学習する。
これを不変ホップコヒーレンスと呼ぶ。
このため、ある程度の詩的ライセンスがあれば、組合せホップ代数を「損失関数勾配を内蔵したテンソル」と呼ぶことができる。
この損失関数勾配は単一の層内で発生し、後方通過は不要である。
これはグラフ全体にわたって発生し、明示的な後方通過を必要とする自動微分とは対照的である。
この性質は、組合せホップ代数が繰り返しスパーリングによって固有値を計算する驚くべき性質を持つという事実の結果である。 We argue that all building blocks of transformer models can be expressed with a single concept: combinatorial Hopf algebra. Transformer learning emerges as a result of the subtle interplay between the algebraic and coalgebraic operations of the combinatorial Hopf algebra. Viewed through this lens, the transformer model becomes a linear time-invariant system where the attention mechanism computes a generalized convolution transform and the residual stream serves as a unit impulse. Attention-only transformers then learn by enforcing an invariant between these two paths. We call this invariant Hopf coherence. Due to this, with a degree of poetic license, one could call combinatorial Hopf algebras "tensors with a built-in loss function gradient". This loss function gradient occurs within the single layers and no backward pass is needed. This is in contrast to automatic differentiation which happens across the whole graph and needs a explicit backward pass. This property is the result of the fact that combinatorial Hopf algebras have the surprising property of calculating eigenvalues by repeated squaring. | 翻訳日:2023-02-06 15:43:30 公開日:2023-02-03 |
| # 予測付きオンライン広告アロケーション Online Ad Allocation with Predictions ( http://arxiv.org/abs/2302.01827v1 ) ライセンス: Link先を確認 | Fabian Spaeh, Alina Ene | (参考訳) ディスプレイ広告と一般化された割り当て問題は、広告アロケーションやその他の分野における重要な応用に関する2つのよく研究されたオンラインパッキング問題である。
どちらの問題においても、広告インプレッションはオンラインで公開され、予算に縛られた広告主に直ちに割り当てられる必要がある。
理想的な競合比を達成できる最悪のアルゴリズムは知られているが、現実の入力の予測可能で通常タメな性質を考えると、過度に保守的である。
この不一致を考慮し,機械学習予測を取り入れ,最悪の場合を超えて性能を向上させるアルゴリズムを開発した。
我々のアルゴリズムはfeldman et al. (2009) の研究に基づいており、本質的にはmahdian et al. (2007) と類似している。
我々は,新しい解析手法を用いて,予測の貧弱さに対して頑健でありながら,良好な予測を実現できることを示す。
提案アルゴリズムは,広範囲の予測に基づいて,合成および実世界のデータに対して実験的に評価する。
我々のアルゴリズムは予測なしで最悪ケースのアルゴリズムを一貫して上回っている。 Display Ads and the generalized assignment problem are two well-studied online packing problems with important applications in ad allocation and other areas. In both problems, ad impressions arrive online and have to be allocated immediately to budget-constrained advertisers. Worst-case algorithms that achieve the ideal competitive ratio are known, but might act overly conservative given the predictable and usually tame nature of real-world input. Given this discrepancy, we develop an algorithm for both problems that incorporate machine-learned predictions and can thus improve the performance beyond the worst-case. Our algorithm is based on the work of Feldman et al. (2009) and similar in nature to Mahdian et al. (2007) who were the first to develop a learning-augmented algorithm for the related, but more structured Ad Words problem. We use a novel analysis to show that our algorithm is able to capitalize on a good prediction, while being robust against poor predictions. We experimentally evaluate our algorithm on synthetic and real-world data on a wide range of predictions. Our algorithm is consistently outperforming the worst-case algorithm without predictions. | 翻訳日:2023-02-06 15:43:13 公開日:2023-02-03 |
| # hdformer: 3次元ポーズ推定のための高次指向トランス HDFormer: High-order Directed Transformer for 3D Human Pose Estimation ( http://arxiv.org/abs/2302.01825v1 ) ライセンス: Link先を確認 | Hanyuan Chen, Jun-Yan He, Wangmeng Xiang, Wei Liu, Zhi-Qi Cheng, Hanbing Liu, Bin Luo, Yifeng Geng, Xuansong Xie | (参考訳) 人間のポーズ推定は複雑な構造化データシーケンスモデリングタスクである。
既存の手法の多くは、モデル学習における人体関節のペアワイズ相互作用のみを考慮する。
残念なことに、3dのポーズ推定は$\textit{joints overlapping}$のような難しいケースでは失敗する。
この目的のために、我々は、$\textit{High-order}$ $\textit{Directed}$ $\textit{Transformer}$ (HDFormer)という3Dポーズ推定フレームワークを改訂した。
具体的には、HDFormerは、セルフアテンションと高階アテンションの両方を採用して、情報フローのインタラクションを実行するための多階アテンションモジュールを構築している。例えば、一階 $"\textit{joint$\leftrightarrow$joint}"$、二階 $"\textit{bone$\leftrightarrow$joint}"$、高階 $"\textit{hyperbone$\leftrightarrow$joint}"$リレーション(ハイパボーンはジョイントセットとして定義される)は、高速で重いオクルージョンシナリオにおけるハードケースの予測を補う。
さらに、近代化されたcnn技術を用いてトランスフォーマのアーキテクチャをアップグレードしてhdフォーマを高速化し、効率と効率のトレードオフを良好に実現している。
我々は,本モデルとHuman3.6MとMPI-INF-3DHPの他のSOTAモデルとの比較を行った。
その結果,提案したHDFormerは,$\textbf{1/10}$パラメータだけで優れた性能を示し,現在のSOTAに比べて計算コストもはるかに低いことがわかった。
さらに、hdformerは様々な実世界のアプリケーションに適用でき、リアルタイムかつ正確な3dポーズ推定を可能にする。
ソースコードはhttps://github.com/hyer/HDFormerにある。 Human pose estimation is a complicated structured data sequence modeling task. Most existing methods only consider the pair-wise interaction of human body joints in model learning. Unfortunately, this causes 3D pose estimation to fail in difficult cases such as $\textit{joints overlapping}$, and pose $\textit{fast-changing}$, as pair-wise relations cannot exploit fine-grained human body priors in pose estimation. To this end, we revamped the 3D pose estimation framework with a $\textit{High-order}$ $\textit{Directed}$ $\textit{Transformer}$ (HDFormer), which coherently exploits the high-order bones and joints relevances to boost the performance of pose estimation. Specifically, HDFormer adopts both self-attention and high-order attention schemes to build up a multi-order attention module to perform the information flow interaction including the first-order $"\textit{joint$\leftrightarrow$joint}"$, second-order $"\textit{bone$\leftrightarrow$joint}"$ as well as high-order $"\textit{hyperbone$\leftrightarrow$joint}"$ relationships (hyperbone is defined as a joint set), compensating the hard cases prediction in fast-changing and heavy occlusion scenarios. Moreover, modernized CNN techniques are applied to upgrade the transformer-based architecture to speed up the HDFormer, achieving a favorable trade-off between effectiveness and efficiency. We compare our model with other SOTA models on the datasets Human3.6M and MPI-INF-3DHP. The results demonstrate that the proposed HDFormer achieves superior performance with only $\textbf{1/10}$ parameters and much lower computational cost compared to the current SOTAs. Moreover, HDFormer can be applied to various types of real-world applications, enabling real-time and accurate 3D pose estimation. The source code is in https://github.com/hyer/HDFormer. | 翻訳日:2023-02-06 15:42:54 公開日:2023-02-03 |
| # 多重レベルとモジュラーアプローチによる語彙単純化 Lexical Simplification using multi level and modular approach ( http://arxiv.org/abs/2302.01823v1 ) ライセンス: Link先を確認 | Nikita Katyal, Pawan Kumar Rajpoot | (参考訳) テキストの単純化は自然言語処理において進行中の問題であり、その解決策は様々な意味を持つ。
TSAR-2022 Workshop @EMNLP2022 Lexical Simplificationは、難解な単語を、元の情報と意味を保存しながら読みやすく(あるいは理解しやすい)表現に置き換えることで、テキストの語彙的複雑さを減らすプロセスである。
本稿では、我々のチーム「teamPN」による英語サブタスクの作業について説明する。
現代のトランスフォーマーモデルとパラフレーズや動詞感覚の曖昧さといった従来のNLP手法を組み合わせたモジュールパイプラインを構築した。
対象とするテキストを,その意味(音声タグの一部)に応じて処理するマルチレベル・モジュールパイプラインを構築した。
パイプラインはマルチレベルであり、複数のソースモデルを使用して置換の候補を探します。 Text Simplification is an ongoing problem in Natural Language Processing, solution to which has varied implications. In conjunction with the TSAR-2022 Workshop @EMNLP2022 Lexical Simplification is the process of reducing the lexical complexity of a text by replacing difficult words with easier to read (or understand) expressions while preserving the original information and meaning. This paper explains the work done by our team "teamPN" for English sub task. We created a modular pipeline which combines modern day transformers based models with traditional NLP methods like paraphrasing and verb sense disambiguation. We created a multi level and modular pipeline where the target text is treated according to its semantics(Part of Speech Tag). Pipeline is multi level as we utilize multiple source models to find potential candidates for replacement, It is modular as we can switch the source models and their weight-age in the final re-ranking. | 翻訳日:2023-02-06 15:42:07 公開日:2023-02-03 |
| # 連続体深層学習ニューロスキンニューラルネットワークのためのハイブリッド学習アルゴリズム A Hybrid Training Algorithm for Continuum Deep Learning Neuro-Skin Neural Network ( http://arxiv.org/abs/2302.01819v1 ) ライセンス: Link先を確認 | Mehrdad Shafiei Dizaji | (参考訳) 本稿では,Deep Learning NeuroSkin Neural Networkのための学習アルゴリズムを開発し,学習特性を改善する。
Neuroskinは、著者らが最近発表した新しいタイプのニューラルネットワークである。
細胞膜からなり、各細胞にニューロンが結合している。
ニューロンは細胞核である。
神経骨格は有限要素を用いてモデル化される。
有限要素の各要素はセルを表す。
各細胞ニューロンは樹状線維を持ち、それを細胞のノードに接続する。
一方、軸索は複数の異なるニューロンのノードに接続されている。
神経スキンは入力を受けると収縮するように訓練される。
学習は、感度分析を使用してイテレーションの更新中に行われる。
神経スキンは望ましい反応を示すことができないが、徐々に所望のレベルまで改善することが示されている。 In this brief paper, a learning algorithm is developed for Deep Learning NeuroSkin Neural Network to improve their learning properties. Neuroskin is a new type of neural network presented recently by the authors. It is comprised of a cellular membrane which has a neuron attached to each cell. The neuron is the cells nucleus. A neuroskin is modelled using finite elements. Each element of the finite element represents a cell. Each cells neuron has dendritic fibers which connects it to the nodes of the cell. On the other hand, its axon is connected to the nodes of a number of different neurons. The neuroskin is trained to contract upon receiving an input. The learning takes place during updating iterations using sensitivity analysis. It is shown that while the neuroskin cannot present the desirable response, it improves gradually to the desired level. | 翻訳日:2023-02-06 15:41:50 公開日:2023-02-03 |
| # 弱い相補ラベルを用いたh&e染色スライダにおける肝細胞癌および胆管癌のセグメンテーション改善 Leveraging weak complementary labels to improve semantic segmentation of hepatocellular carcinoma and cholangiocarcinoma in H&E-stained slides ( http://arxiv.org/abs/2302.01813v1 ) ライセンス: Link先を確認 | Miriam H\"agele and Johannes Eschrich and Lukas Ruff and Maximilian Alber and Simon Schallenberg and Adrien Guillot and Christoph Roderburg and Frank Tacke and Frederick Klauschen | (参考訳) 本稿では,肝細胞癌と肝内胆管癌の2つの原発性肝癌をヘマトキシリンおよびエオシン(H&E)染色画像から分類,定量化するための深層学習セグメンテーション手法を提案する。
医用画像のセマンティックセグメンテーションは通常、ドメインの専門家による高価なピクセルレベルのアノテーションを必要とするが、臨床診断で日常的に得られるが、モデルトレーニングにはほとんど使われない追加情報が存在する。
本稿では,患者診断の弱い情報を,サンプルがどのクラスに属さないかを示す補完ラベルを導出することによって活用することを提案する。
これらのラベルを統合するために、セグメント化の相補的な損失を定式化する。
医学的応用により、モデルトレーニング中にのみ弱相補ラベルのパッチを含む一般的なセグメンテーションタスクは、モデルの予測性能と堅牢性を大幅に向上させることができることを示す。
肝細胞癌と肝内胆管癌との鑑別作業において,保留患者165例において,0.91 (ci 95%: 0.86 - 0.95) のバランスの取れた精度が得られた。
さらに,補完ラベルの活用によってセグメント化の堅牢性が向上し,ケースレベルでのパフォーマンスが向上することを示す。 In this paper, we present a deep learning segmentation approach to classify and quantify the two most prevalent primary liver cancers - hepatocellular carcinoma and intrahepatic cholangiocarcinoma - from hematoxylin and eosin (H&E) stained whole slide images. While semantic segmentation of medical images typically requires costly pixel-level annotations by domain experts, there often exists additional information which is routinely obtained in clinical diagnostics but rarely utilized for model training. We propose to leverage such weak information from patient diagnoses by deriving complementary labels that indicate to which class a sample cannot belong to. To integrate these labels, we formulate a complementary loss for segmentation. Motivated by the medical application, we demonstrate for general segmentation tasks that including additional patches with solely weak complementary labels during model training can significantly improve the predictive performance and robustness of a model. On the task of diagnostic differentiation between hepatocellular carcinoma and intrahepatic cholangiocarcinoma, we achieve a balanced accuracy of 0.91 (CI 95%: 0.86 - 0.95) at case level for 165 hold-out patients. Furthermore, we also show that leveraging complementary labels improves the robustness of segmentation and increases performance at case level. | 翻訳日:2023-02-06 15:41:40 公開日:2023-02-03 |
| # GLADIS: 一般的な大語彙の曖昧さベンチマーク GLADIS: A General and Large Acronym Disambiguation Benchmark ( http://arxiv.org/abs/2302.01860v1 ) ライセンス: Link先を確認 | Lihu Chen, Ga\"el Varoquaux, Fabian M. Suchanek | (参考訳) Acronym Disambiguation (AD)は、バイオメディカルレポート、科学論文、検索エンジンクエリなど、様々な情報源の自然言語理解に不可欠である。
しかし、既存の頭文字の曖昧さのベンチマークやツールは特定のドメインに限定されており、以前のベンチマークのサイズは比較的小さい。
頭字語曖昧化の研究を加速するため,(1)150万の頭字語と6.4万の長文からなるより大きな頭字語辞書,(2)1億6000万の文からなる事前学習コーパス,(3)一般,科学,生物医学の領域をカバーする3つのデータセットの3つの要素からなるGLADISというベンチマークを構築した。
次に、一般的な頭字語曖昧化のために構築したコーパス上で、言語モデル \emph{AcroBERT} を事前訓練し、新しいベンチマークの課題と価値を示す。 Acronym Disambiguation (AD) is crucial for natural language understanding on various sources, including biomedical reports, scientific papers, and search engine queries. However, existing acronym disambiguation benchmarks and tools are limited to specific domains, and the size of prior benchmarks is rather small. To accelerate the research on acronym disambiguation, we construct a new benchmark named GLADIS with three components: (1) a much larger acronym dictionary with 1.5M acronyms and 6.4M long forms; (2) a pre-training corpus with 160 million sentences; (3) three datasets that cover the general, scientific, and biomedical domains. We then pre-train a language model, \emph{AcroBERT}, on our constructed corpus for general acronym disambiguation, and show the challenges and values of our new benchmark. | 翻訳日:2023-02-06 15:35:20 公開日:2023-02-03 |
| # 未知要素への一般化:知識グラフの知識外挿に関する調査 Generalizing to Unseen Elements: A Survey on Knowledge Extrapolation for Knowledge Graphs ( http://arxiv.org/abs/2302.01859v1 ) ライセンス: Link先を確認 | Mingyang Chen, Wen Zhang, Yuxia Geng, Zezhong Xu, Jeff Z. Pan, Huajun Chen | (参考訳) 知識グラフ(KG)は多様なアプリケーションにおいて有効な知識資源となり、知識グラフ埋め込み(KGE)手法が近年注目されている。
しかしながら、従来のKGEメソッドがモデルテスト中に見えないエンティティやリレーションを処理することは依然として難しい。
この問題に対処するために、様々な分野のkgsで多くの努力がなされている。
本稿では,これらの手法を統一し,知識補間と呼ぶための一般用語の組を用いる。
提案する分類法を包括的に要約し,それらの相関について述べる。
次に,分類学に反映されない側面から,これらの手法の比較を行った。
最後に,今後の研究の方向性を提案する。 Knowledge graphs (KGs) have become effective knowledge resources in diverse applications, and knowledge graph embedding (KGE) methods have attracted increasing attention in recent years. However, it's still challenging for conventional KGE methods to handle unseen entities or relations during the model test. Much effort has been made in various fields of KGs to address this problem. In this paper, we use a set of general terminologies to unify these methods and refer to them as Knowledge Extrapolation. We comprehensively summarize these methods classified by our proposed taxonomy and describe their correlations. Next, we introduce the benchmarks and provide comparisons of these methods from aspects that are not reflected by the taxonomy. Finally, we suggest some potential directions for future research. | 翻訳日:2023-02-06 15:34:59 公開日:2023-02-03 |
| # 量子ノクローニングとノンテレポーテーションの計算的分離 A Computational Separation Between Quantum No-cloning and No-teleportation ( http://arxiv.org/abs/2302.01858v1 ) ライセンス: Link先を確認 | Barak Nehoran, Mark Zhandry | (参考訳) 量子情報の基本的なno-go定理の2つは、非閉定理(一般量子状態の複写は不可能である)とno-teleportation定理(非共有エンタングルメントのない古典的なチャネル上の量子状態の送信禁止)である。
量子状態の集合がクローン可能であることと、それがテレポート可能であることは同値であることが知られている。
本研究の主目的は,計算効率を考慮した場合ではない。
量子状態とオーラクルの集合を与え、それらの状態は効率的にクローン可能であるが、効率よくテレポートできない。
逆のシナリオ(テレポート可能な状態は常に自明にクローン化することができる)を考えると、この2つの重要なno-goプロパティ間で最も完全なoracleの分離が可能になる。
そこで我々は,古典的記述から量子状態を構築する能力を示す,関連する量子no-go特性,再構成可能性を導入する。
効率的にクローニングできるが、効率的に再構成できない量子状態の集合の強い結果を示す。
この新しいno-go特性は計算効率に関してのみ存在し、非有界な計算では自明である。
したがって、計算コンテキストの外部には存在していないため、まだ研究されていない計算不要な性質がさらに存在する可能性を開く。 Two of the fundamental no-go theorems of quantum information are the no-cloning theorem (that it is impossible to make copies of general quantum states) and the no-teleportation theorem (the prohibition on sending quantum states over classical channels without pre-shared entanglement). They are known to be equivalent, in the sense that a collection of quantum states is clonable if and only if it is teleportable. Our main result suggests that this is not the case when computational efficiency is considered. We give a collection of quantum states and oracles relative to which these states are efficiently clonable but not efficiently teleportable. Given that the opposite scenario is impossible (states that can be teleported can always trivially be cloned), this gives the most complete oracle separation possible between these two important no-go properties. In doing so, we introduce a related quantum no-go property, reconstructibility, which refers to the ability to construct a quantum state from a uniquely identifying classical description. We show the stronger result of a collection of quantum states that are efficiently clonable but not efficiently reconstructible. This novel no-go property only exists in relation to computational efficiency, as it is trivial for unbounded computation. It thus opens up the possibility of further computational no-go properties that have not yet been studied because they do not exist outside the computational context. | 翻訳日:2023-02-06 15:34:49 公開日:2023-02-03 |
| # KNOD: 自動プログラム修復のためのドメイン知識蒸留木デコーダ KNOD: Domain Knowledge Distilled Tree Decoder for Automated Program Repair ( http://arxiv.org/abs/2302.01857v1 ) ライセンス: Link先を確認 | Nan Jiang, Thibaud Lutellier, Yiling Lou, Lin Tan, Dan Goldwasser, and Xiangyu Zhang | (参考訳) APR(Automated Program repair)は、バグ修正プログラム用のパッチを自動生成することで、ソフトウェアの信頼性を向上させる。
最近のAPR技術は、ディープラーニング(DL)を利用して、既存のパッチやコードコーパスからパッチを生成するためのモデルを構築する。
有望ではあるが、DLベースのAPR技術は、パッチ空間の構文的にも意味的にも不正確なパッチに悩まされている。
これらのパッチは、しばしばソースコードの構文的および意味的なドメイン知識に反するので、バグを修正するための正しいパッチにはならない。
我々は、ドメイン知識を取り入れたDLベースのAPRアプローチKNODを提案し、パッチ生成を直接的かつ包括的にガイドする。
KNOD には,(1) 固有の木構造に従ってパッチされたコードの抽象構文木を直接生成する新しい3段階木デコーダ,(2) 統語的・意味論的ルールと教師-学生分布を活用して,訓練と推論の段階でドメイン知識をデコード手順に明示的に注入する新規ドメインルール蒸留という2つの特徴がある。
広範に使用されている3つのベンチマークでKNODを評価する。
KNODはDefects4J v1.2の72のバグ、QuixBugsの25のバグ、Defects4J v2.0ベンチマークの50のバグを修正し、既存のAPRツールを上回っている。 Automated Program Repair (APR) improves software reliability by generating patches for a buggy program automatically. Recent APR techniques leverage deep learning (DL) to build models to learn to generate patches from existing patches and code corpora. While promising, DL-based APR techniques suffer from the abundant syntactically or semantically incorrect patches in the patch space. These patches often disobey the syntactic and semantic domain knowledge of source code and thus cannot be the correct patches to fix a bug. We propose a DL-based APR approach KNOD, which incorporates domain knowledge to guide patch generation in a direct and comprehensive way. KNOD has two major novelties, including (1) a novel three-stage tree decoder, which directly generates Abstract Syntax Trees of patched code according to the inherent tree structure, and (2) a novel domain-rule distillation, which leverages syntactic and semantic rules and teacher-student distributions to explicitly inject the domain knowledge into the decoding procedure during both the training and inference phases. We evaluate KNOD on three widely-used benchmarks. KNOD fixes 72 bugs on the Defects4J v1.2, 25 bugs on the QuixBugs, and 50 bugs on the additional Defects4J v2.0 benchmarks, outperforming all existing APR tools. | 翻訳日:2023-02-06 15:34:25 公開日:2023-02-03 |
| # ロバストネスからプライバシとバックへ From Robustness to Privacy and Back ( http://arxiv.org/abs/2302.01855v1 ) ライセンス: Link先を確認 | Hilal Asi, Jonathan Ullman, Lydia Zakynthinou | (参考訳) 統計的推論における2つのデシデラタのアルゴリズムと機械学習の関係について検討した。
彼らの概念的類似性は、Dwork and Lei (STOC 2009)によって初めて観察され、プライベートアルゴリズムが堅牢性を満たすことを観察し、ロバストアルゴリズムをプライベートアルゴリズムに変換する一般的な方法を与えた。
しかし、ロバストなアルゴリズムをプライベートなアルゴリズムに変換する一般的な方法はすべて、最適以下のエラー率をもたらす。
我々の研究は、あらゆる敵対的ロバストなアルゴリズムを純粋な微分プライバシーを満たすものに変換する最初のブラックボックス変換を与えます。
さらに, 任意の低次元推定タスクに対して, 最適ロバスト推定器に変換を適用することにより, 最適プライベート推定器が得られることを示す。
したがって、任意の低次元タスクに対して、$\varepsilon$-differentially private 推定器の最適誤差率は、本質的に1/\varepsilon$トレーニングサンプルを逆向きに破壊しにくい推定器の最適誤差率と同じである。
我々は,ガウス線形回帰やPCAなどの高次元タスクに対して,新しい最適プライベート推定器を得るために変換を適用した。
最後に、この変換の拡張により、誤差が出力空間の範囲に依存せず、純粋な微分プライバシー下では不可能となる近似微分プライベートアルゴリズムが導かれる。 We study the relationship between two desiderata of algorithms in statistical inference and machine learning: differential privacy and robustness to adversarial data corruptions. Their conceptual similarity was first observed by Dwork and Lei (STOC 2009), who observed that private algorithms satisfy robustness, and gave a general method for converting robust algorithms to private ones. However, all general methods for transforming robust algorithms into private ones lead to suboptimal error rates. Our work gives the first black-box transformation that converts any adversarially robust algorithm into one that satisfies pure differential privacy. Moreover, we show that for any low-dimensional estimation task, applying our transformation to an optimal robust estimator results in an optimal private estimator. Thus, we conclude that for any low-dimensional task, the optimal error rate for $\varepsilon$-differentially private estimators is essentially the same as the optimal error rate for estimators that are robust to adversarially corrupting $1/\varepsilon$ training samples. We apply our transformation to obtain new optimal private estimators for several high-dimensional tasks, including Gaussian (sparse) linear regression and PCA. Finally, we present an extension of our transformation that leads to approximate differentially private algorithms whose error does not depend on the range of the output space, which is impossible under pure differential privacy. | 翻訳日:2023-02-06 15:33:57 公開日:2023-02-03 |
| # 人間-aiインタラクションにおけるコンプライアンスの心理計測と行動予測の比較 Comparing Psychometric and Behavioral Predictors of Compliance During Human-AI Interactions ( http://arxiv.org/abs/2302.01854v1 ) ライセンス: Link先を確認 | Nikolos Gurney and David V. Pynadath and Ning Wang | (参考訳) 人間-AIチームの最適化は、個々のチームメイトとのインタラクションをカスタマイズするAIの能力に依存している。
アダプティブAI研究における一般的な仮説は、信頼への偏見の微妙な違いは、AIからの勧告に従う可能性に大きな影響を及ぼすというものである。
信頼の前提は、しばしば相互作用の前に管理される自己報告在庫によって測定される。
コンプライアンスの行動予測に対して、この種の一般的な尺度をベンチマークします。
これまでの3つの研究プロジェクトから得られたデータセットの行動測定よりも、在庫はコンプライアンスの効果的な予測因子であることがわかった。
これは、初期の行動における個人差が、自己報告された信頼態度の差よりも予測的であるという一般的な特性を示唆する。
この結果はまた、(しばしば高価な)調査機器を使わずに、より正確なモデルでAIを提供するための、容易にアクセス可能な行動測定の可能性を示している。 Optimization of human-AI teams hinges on the AI's ability to tailor its interaction to individual human teammates. A common hypothesis in adaptive AI research is that minor differences in people's predisposition to trust can significantly impact their likelihood of complying with recommendations from the AI. Predisposition to trust is often measured with self-report inventories that are administered before interactions. We benchmark a popular measure of this kind against behavioral predictors of compliance. We find that the inventory is a less effective predictor of compliance than the behavioral measures in datasets taken from three previous research projects. This suggests a general property that individual differences in initial behavior are more predictive than differences in self-reported trust attitudes. This result also shows a potential for easily accessible behavioral measures to provide an AI with more accurate models without the use of (often costly) survey instruments. | 翻訳日:2023-02-06 15:33:32 公開日:2023-02-03 |
| # rbmsの学習ダイナミクスを用いた教師なし階層クラスタリング Unsupervised hierarchical clustering using the learning dynamics of RBMs ( http://arxiv.org/abs/2302.01851v1 ) ライセンス: Link先を確認 | Aur\'elien Decelle, Lorenzo Rosset, Beatriz Seoane | (参考訳) 実世界のデータセットは、しばしば複雑である程度階層的であり、異なる抽象レベルで共通の特徴を共有するデータのグループとサブグループがある。
これらのデータセットの隠れた構造を理解し、解明することは、多くの実用的応用を持つ重要なタスクである。
本稿では,制約付きボルツマンマシン(rbm)の学習ダイナミクスを活用し,リレーショナル・データ・ツリーを構築するための新しい汎用的手法を提案する。
提案手法は,Plefka展開から派生した平均場アプローチに基づいて,無秩序なシステムの文脈で開発された。
容易に解釈できるように設計されている。
本手法を人工的に作成した階層型データセットと3つの異なる実世界のデータセット(桁の画像、ヒトゲノムの変異、相同なタンパク質群)で検証した。
この手法はデータの階層構造を自動的に識別することができる。
これは、タンパク質間の関係がそれらの機能と進化を理解するために重要である相同性タンパク質配列の研究に有用である。 Datasets in the real world are often complex and to some degree hierarchical, with groups and sub-groups of data sharing common characteristics at different levels of abstraction. Understanding and uncovering the hidden structure of these datasets is an important task that has many practical applications. To address this challenge, we present a new and general method for building relational data trees by exploiting the learning dynamics of the Restricted Boltzmann Machine (RBM). Our method is based on the mean-field approach, derived from the Plefka expansion, and developed in the context of disordered systems. It is designed to be easily interpretable. We tested our method in an artificially created hierarchical dataset and on three different real-world datasets (images of digits, mutations in the human genome, and a homologous family of proteins). The method is able to automatically identify the hierarchical structure of the data. This could be useful in the study of homologous protein sequences, where the relationships between proteins are critical for understanding their function and evolution. | 翻訳日:2023-02-06 15:33:19 公開日:2023-02-03 |
| # パラメータ効率のよい知識グラフ埋め込みのためのエンティティ非依存表現学習 Entity-Agnostic Representation Learning for Parameter-Efficient Knowledge Graph Embedding ( http://arxiv.org/abs/2302.01849v1 ) ライセンス: Link先を確認 | Mingyang Chen, Wen Zhang, Zhen Yao, Yushan Zhu, Yang Gao, Jeff Z. Pan, Huajun Chen | (参考訳) 本稿では,知識グラフ埋め込みによる非効率なパラメータ記憶コスト問題に対処するためのエンティティ非依存表現学習手法を提案する。
従来の知識グラフ埋め込み法は、エンティティや関係を含む知識グラフ内の要素を1つまたは複数の特定の埋め込み(ベクトル表現)を割り当てることで連続ベクトル空間にマッピングする。
したがって、埋め込みパラメータの数は知識グラフの成長とともに線形に増加する。
提案モデルであるEntity-Agnostic Representation Learning (EARL)では,少数のエンティティの埋め込みのみを学習し,それらを予約エンティティとして参照する。
完全集合の埋め込みを得るために、それらの識別可能な情報をそれらの連結関係、k-nearestリザーブドエンティティ、およびマルチホップ近傍と符号化する。
我々は、識別可能な情報をエンティティ埋め込みに変換するための普遍的およびエンティティ非依存のエンコーダを学習する。
このアプローチにより,従来の知識グラフ埋め込み法よりも静的,効率的,低いパラメータ数が得られる。
実験の結果,EARLはパラメータが少なく,ベースラインよりもリンク予測タスクに優れており,パラメータ効率を反映していることがわかった。 We propose an entity-agnostic representation learning method for handling the problem of inefficient parameter storage costs brought by embedding knowledge graphs. Conventional knowledge graph embedding methods map elements in a knowledge graph, including entities and relations, into continuous vector spaces by assigning them one or multiple specific embeddings (i.e., vector representations). Thus the number of embedding parameters increases linearly as the growth of knowledge graphs. In our proposed model, Entity-Agnostic Representation Learning (EARL), we only learn the embeddings for a small set of entities and refer to them as reserved entities. To obtain the embeddings for the full set of entities, we encode their distinguishable information from their connected relations, k-nearest reserved entities, and multi-hop neighbors. We learn universal and entity-agnostic encoders for transforming distinguishable information into entity embeddings. This approach allows our proposed EARL to have a static, efficient, and lower parameter count than conventional knowledge graph embedding methods. Experimental results show that EARL uses fewer parameters and performs better on link prediction tasks than baselines, reflecting its parameter efficiency. | 翻訳日:2023-02-06 15:33:03 公開日:2023-02-03 |
| # MorDIFF:拡散オートエンコーダによる顔形態攻撃の認識脆弱性と攻撃検出性 MorDIFF: Recognition Vulnerability and Attack Detectability of Face Morphing Attacks Created by Diffusion Autoencoders ( http://arxiv.org/abs/2302.01843v1 ) ライセンス: Link先を確認 | Naser Damer, Meiling Fang, Patrick Siebke, Jan Niklas Kolf, Marco Huber, Fadi Boutros | (参考訳) 新たな攻撃を予見し、緩和するためには、顔のモーフィング攻撃を作成する新しい方法の研究が不可欠である。
モーフィング攻撃の生成は通常、画像レベルまたは表現レベルで実行される。
符号化された画像が潜時空間に補間され、補間ベクトルに基づく形態画像を生成するGAN(Generative Adversarial Network)に基づいて、これまで、表現レベルのモーフィングが行われた。
このようなプロセスは、GANアーキテクチャの限られた再構築忠実さによって制約された。
拡散オートエンコーダモデルの最近の進歩は、GANの限界を克服し、高い再構成精度をもたらす。
理論的には、それらが表現レベルの顔変形を行うための完璧な候補となる。
本研究では,拡散オートエンコーダを用いて顔形態形成攻撃を画像レベルおよび表現レベルの幅広い形態と比較する。
4つの最先端顔認識モデルの脆弱性解析により,このようなモデルが生成した攻撃,特に既存の表現レベルの形態に対して非常に脆弱であることが示されている。
詳細な検出可能性解析はmordiffでも行われ、画像や表現レベルで生成される他のモーフィング攻撃と同様に検出が困難であることを示している。
データとモーフィングスクリプトは公開されています。 Investigating new methods of creating face morphing attacks is essential to foresee novel attacks and help mitigate them. Creating morphing attacks is commonly either performed on the image-level or on the representation-level. The representation-level morphing has been performed so far based on generative adversarial networks (GAN) where the encoded images are interpolated in the latent space to produce a morphed image based on the interpolated vector. Such a process was constrained by the limited reconstruction fidelity of GAN architectures. Recent advances in the diffusion autoencoder models have overcome the GAN limitations, leading to high reconstruction fidelity. This theoretically makes them a perfect candidate to perform representation-level face morphing. This work investigates using diffusion autoencoders to create face morphing attacks by comparing them to a wide range of image-level and representation-level morphs. Our vulnerability analyses on four state-of-the-art face recognition models have shown that such models are highly vulnerable to the created attacks, the MorDIFF, especially when compared to existing representation-level morphs. Detailed detectability analyses are also performed on the MorDIFF, showing that they are as challenging to detect as other morphing attacks created on the image- or representation-level. Data and morphing script are made public. | 翻訳日:2023-02-06 15:32:44 公開日:2023-02-03 |
| # グラフと言語モデルを用いたコンプライアンス・アズ・コードに関するケーススタディ:規制知識グラフの公開リリース A Case Study for Compliance as Code with Graphs and Language Models: Public release of the Regulatory Knowledge Graph ( http://arxiv.org/abs/2302.01842v1 ) ライセンス: Link先を確認 | Vladimir Ershov | (参考訳) 本稿では、言語モデルを用いて、コンプライアンスのための実行可能な知識グラフ(KG)の構築を自動化する。
本論文は、アブダビのグローバルマーケット規制と分類に焦点を当て、規制の一部を手動でタグ付けし、BERTベースのモデルをトレーニングし、残りのコーパスに適用する。
タグ付きエンティティ間の関係を解析し、neo4jデータベースに格納されたkgを形成するために、コリファレンス解決と構文解析が使用された。
この論文は、規則の解釈を自動化するために規制当局がリリースした機械学習モデルを使用することが、コンプライアンス自動化に向けた重要なステップであり、Cypherとのクエリの概念を実証し、生成したサブグラフとグラフニューラルネットワーク(GNN)を組み合わせることで、判断自動化システムの拡張性を実現すると述べている。
このグラフはgithubでオープンソース化され、この分野の今後の進歩のための構造化データを提供する。 The paper presents a study on using language models to automate the construction of executable Knowledge Graph (KG) for compliance. The paper focuses on Abu Dhabi Global Market regulations and taxonomy, involves manual tagging a portion of the regulations, training BERT-based models, which are then applied to the rest of the corpus. Coreference resolution and syntax analysis were used to parse the relationships between the tagged entities and to form KG stored in a Neo4j database. The paper states that the use of machine learning models released by regulators to automate the interpretation of rules is a vital step towards compliance automation, demonstrates the concept querying with Cypher, and states that the produced sub-graphs combined with Graph Neural Networks (GNN) will achieve expandability in judgment automation systems. The graph is open sourced on GitHub to provide structured data for future advancements in the field. | 翻訳日:2023-02-06 15:32:23 公開日:2023-02-03 |
| # 気候変動が重要なインフラに与える影響を科学的文献から分析する:弱い教師付きnlpアプローチ Analyzing the impact of climate change on critical infrastructure from the scientific literature: A weakly supervised NLP approach ( http://arxiv.org/abs/2302.01887v1 ) ライセンス: Link先を確認 | Tanwi Mallick, Joshua David Bergerson, Duane R. Verner, John K Hutchison, Leslie-Anne Levy, Prasanna Balaprakash | (参考訳) 自然言語処理(nlp)は、大量の気候変化とインフラ関連科学文献の分析に有望なアプローチである。
しかし、ベストプラクティスのNLP技術は、関連ドキュメント(コーパス)の大規模な収集を必要とする。
さらに、機械学習とディープラーニング技術を用いたNLP技術では、教師付きモデルをトレーニングするために、コーパスの重要なサブセットに対するユーザ定義基準に基づいて、ラベルをグループ化する必要がある。
数百のドキュメントに人事の専門家をラベル付けするのも時間を要する作業です。
このプロセスの迅速化を目的として,カテゴリと文書間の意味的類似性を活用する弱監督型NLPアプローチを開発した。
(i)大規模オープンアクセスコーパスを分割してトピック固有のコーパスを確立すること、及び
(ii)トピック特定コーパスのカテゴリラベルを生成する。
対象者ラベル付けの1ヶ月のプロセスと比較して,弱監督と教師付き学習を約13時間で,コーパス全体に対してカテゴリラベルを割り当てる。
このラベル付き気候とncfコーパスは、重要なインフラに対する気候変動の様々な影響の関心のトピック(またはトピックの組み合わせ)を議論する文書をターゲットとし、効率的な識別を可能にし、科学文献のユーザビリティを改善し、最終的には政策と意思決定の強化を支援する。
この能力を実証するために,気候の危険度とNCFのペアのトピックモデリングを行い,これらのカテゴリの交差点でトレンドのトピックを発見する。
この手法は、アナリストや意思決定者にとって、関連するトピックやそのトピックに関連する最も重要なドキュメントを素早く把握するのに有用である。 Natural language processing (NLP) is a promising approach for analyzing large volumes of climate-change and infrastructure-related scientific literature. However, best-in-practice NLP techniques require large collections of relevant documents (corpus). Furthermore, NLP techniques using machine learning and deep learning techniques require labels grouping the articles based on user-defined criteria for a significant subset of a corpus in order to train the supervised model. Even labeling a few hundred documents with human subject-matter experts is a time-consuming process. To expedite this process, we developed a weak supervision-based NLP approach that leverages semantic similarity between categories and documents to (i) establish a topic-specific corpus by subsetting a large-scale open-access corpus and (ii) generate category labels for the topic-specific corpus. In comparison with a months-long process of subject-matter expert labeling, we assign category labels to the whole corpus using weak supervision and supervised learning in about 13 hours. The labeled climate and NCF corpus enable targeted, efficient identification of documents discussing a topic (or combination of topics) of interest and identification of various effects of climate change on critical infrastructure, improving the usability of scientific literature and ultimately supporting enhanced policy and decision making. To demonstrate this capability, we conduct topic modeling on pairs of climate hazards and NCFs to discover trending topics at the intersection of these categories. This method is useful for analysts and decision-makers to quickly grasp the relevant topics and most important documents linked to the topic. | 翻訳日:2023-02-06 15:26:30 公開日:2023-02-03 |
| # 量子効果:量子Piのレシピ The Quantum Effect: A Recipe for QuantumPi ( http://arxiv.org/abs/2302.01885v1 ) ライセンス: Link先を確認 | Jacques Carette, Chris Heunen, Robin Kaarsgaard, Amr Sabry | (参考訳) 自由カテゴリー構成は、古典構造の相補性方程式に結びついた可逆的古典モデルの2つのコピーの組み合わせとして量子コンピューティングを特徴づける。
このレシピは、rig groupoidsの内部言語であるpiの2つのコピーから計算に普遍的な量子プログラミング言語を効果的に構築する。
構造はヒューズの矢で成っている。
したがって、可逆古典計算を量子計算に変換する計算効果が存在するかどうかという疑問は正に答える:量子効果。
測定は、上面にさらなる効果を階層化することで追加することができる。
我々の構成はまた、古典的推論と相補性に関する推論の組み合わせによって(測定の有無に関わらず)量子プログラムに関するいくつかの推論を可能にする。 Free categorical constructions characterise quantum computing as the combination of two copies of a reversible classical model, glued by the complementarity equations of classical structures. This recipe effectively constructs a computationally universal quantum programming language from two copies of Pi, the internal language of rig groupoids. The construction consists of Hughes' arrows. Thus answer positively the question whether a computational effect exists that turns reversible classical computation into quantum computation: the quantum effect. Measurements can be added by layering a further effect on top. Our construction also enables some reasoning about quantum programs (with or without measurement) through a combination of classical reasoning and reasoning about complementarity. | 翻訳日:2023-02-06 15:26:06 公開日:2023-02-03 |
| # 制限拡散を持つ力学系の確率的エントロピー生成 Stochastic entropy production for dynamical systems with restricted diffusion ( http://arxiv.org/abs/2302.01882v1 ) ライセンス: Link先を確認 | Jonathan Dexter and Ian J. Ford | (参考訳) 確率力学を用いたシステムの進化をモデル化することは典型的には、時間経過とともに採用される系座標においてより主観的な不確実性を示し、この変化の尺度として確率エントロピー生産が開発された。
ある状況では、確率エントロピー生成の進化は It\^o 過程を用いて記述できるが、系位相空間における拡散が下次元の部分空間に制限された場合、数学的困難が生じる。
これは例えば運動の定数が存在する場合や、より一般的には、ノイズなしで進化する座標の関数が存在する場合に発生する。
本稿では,マルコフ量子状態拡散の枠組み内でモデル化されたオープンな3段階量子システムについて論じ,そのような状況下での確率エントロピー生成の計算の問題が克服可能であることを示す。
続いて, 確率エントロピーの平均生成速度が一定である3レベル系の非平衡定常状態が, 適切な環境結合の下でどのように成立するかを示す。 Modelling the evolution of a system using stochastic dynamics typically implies a greater subjective uncertainty in the adopted system coordinates as time progresses, and stochastic entropy production has been developed as a measure of this change. In some situations the evolution of stochastic entropy production can be described using an It\^o process, but mathematical difficulties can emerge if diffusion in the system phase space is restricted to a subspace of lower dimension. This can arise if there are constants of the motion, for example, or more generally when there are functions of the coordinates that evolve without noise. We discuss such a case for an open three-level quantum system modelled within a framework of Markovian quantum state diffusion and show how the problem of computing the stochastic entropy production in such a situation can be overcome. We go on to illustrate how a nonequilibrium stationary state of the three-level system, with a constant mean production rate of stochastic entropy, can be established under suitable environmental couplings. | 翻訳日:2023-02-06 15:25:54 公開日:2023-02-03 |
| # IKEAマニュアル: 形状組み立てのステップをステップで見る IKEA-Manual: Seeing Shape Assembly Step by Step ( http://arxiv.org/abs/2302.01881v1 ) ライセンス: Link先を確認 | Ruocheng Wang, Yunzhi Zhang, Jiayuan Mao, Ran Zhang, Chin-Yi Cheng, Jiajun Wu | (参考訳) 人間設計の視覚マニュアルはシェープ組み立て活動において重要な構成要素である。
彼らは、便利で物理的に実現可能な方法で、異なる部品の移動と接続方法に関するステップバイステップのガイダンスを提供します。
組み立て作業を行うエージェントの構築作業は進行中であるが、人設計マニュアルの情報は概ね見過ごされている。
これが原因だと判明しました
1)マニュアルをペアにした現実的な3Dアセンブリオブジェクトの欠如
2)純画像に基づくマニュアルから構造化情報を抽出することの難しさ。
本研究は, IKEA-Manualを組立マニュアルと組み合わせた102個のIKEAオブジェクトからなるデータセットとして紹介する。
我々は,分解されたアセンブリ部品,アセンブリ計画,手動セグメンテーション,および3d部品と視覚マニュアル間の2d-3d対応など,ikeaオブジェクトとアセンブリマニュアルに関する詳細なアノテーションを提供する。
本稿では, 形状形成に関わる4つのタスク, 組立計画生成, 部分分割, ポーズ推定, および3次元部分アセンブリに対するデータセットの広範な適用について述べる。 Human-designed visual manuals are crucial components in shape assembly activities. They provide step-by-step guidance on how we should move and connect different parts in a convenient and physically-realizable way. While there has been an ongoing effort in building agents that perform assembly tasks, the information in human-design manuals has been largely overlooked. We identify that this is due to 1) a lack of realistic 3D assembly objects that have paired manuals and 2) the difficulty of extracting structured information from purely image-based manuals. Motivated by this observation, we present IKEA-Manual, a dataset consisting of 102 IKEA objects paired with assembly manuals. We provide fine-grained annotations on the IKEA objects and assembly manuals, including decomposed assembly parts, assembly plans, manual segmentation, and 2D-3D correspondence between 3D parts and visual manuals. We illustrate the broad application of our dataset on four tasks related to shape assembly: assembly plan generation, part segmentation, pose estimation, and 3D part assembly. | 翻訳日:2023-02-06 15:25:37 公開日:2023-02-03 |
| # AdaptDiffuser: 適応的自己進化プランナーとしての拡散モデル AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners ( http://arxiv.org/abs/2302.01877v1 ) ライセンス: Link先を確認 | Zhixuan Liang, Yao Mu, Mingyu Ding, Fei Ni, Masayoshi Tomizuka, Ping Luo | (参考訳) 拡散モデルは多くのタスクにおいて強力な生成能力を示しており、オフライン強化学習のパラダイムとして機能する可能性がある。
しかし, 拡散モデルの品質は, 学習データの多様性の不足によって制限され, 計画性能やタスクの一般化の妨げとなる。
本稿では,拡散モデルを改善するために自己展開可能な拡散を伴う進化的計画手法であるAdaptDiffuserを紹介する。
adaptdiffuserは、報酬勾配からのガイダンスを使用して、目標条件タスク用のリッチな合成エキスパートデータを生成することができる。
そして、識別器を介して高品質なデータを選択して拡散モデルを微調整し、タスクを検知しない一般化能力を向上させる。
KUKA産業用ロボットアームとMaze2D環境における2つのベンチマーク環境と2つの未確認タスクに関する実証実験は、AdaptDiffuserの有効性を実証している。
例えば、adaptdiffuserはmaze2dで20.8%、mujoco locomotionで7.5%、新たなタスク、例えばkuka pick-and-placeに27.9%、エキスパートデータなしで適応する。 Diffusion models have demonstrated their powerful generative capability in many tasks, with great potential to serve as a paradigm for offline reinforcement learning. However, the quality of the diffusion model is limited by the insufficient diversity of training data, which hinders the performance of planning and the generalizability to new tasks. This paper introduces AdaptDiffuser, an evolutionary planning method with diffusion that can self-evolve to improve the diffusion model hence a better planner, not only for seen tasks but can also adapt to unseen tasks. AdaptDiffuser enables the generation of rich synthetic expert data for goal-conditioned tasks using guidance from reward gradients. It then selects high-quality data via a discriminator to finetune the diffusion model, which improves the generalization ability to unseen tasks. Empirical experiments on two benchmark environments and two carefully designed unseen tasks in KUKA industrial robot arm and Maze2D environments demonstrate the effectiveness of AdaptDiffuser. For example, AdaptDiffuser not only outperforms the previous art Diffuser by 20.8% on Maze2D and 7.5% on MuJoCo locomotion, but also adapts better to new tasks, e.g., KUKA pick-and-place, by 27.9% without requiring additional expert data. | 翻訳日:2023-02-06 15:25:17 公開日:2023-02-03 |
| # Cloning Games: 不可避なプリミティブのための一般的なフレームワーク Cloning Games: A General Framework for Unclonable Primitives ( http://arxiv.org/abs/2302.01874v1 ) ライセンス: Link先を確認 | Prabhanjan Ananth, Fatih Kaleoglu and Qipeng Liu | (参考訳) 量子力学の強力な非閉包原理は、古典的に達成できない興味深い原始("unclonable primitives")を達成するために利用できる。
ここ数年、我々は新しい不可避なプリミティブの急増を目撃してきた。
先行研究は主に実現可能性の確立に焦点が当てられているが、別の重要な方向性として、異なるプリミティブ間の関係を理解することは、まだ初期段階にある。
将来的には、より体系的なプリミティブの研究が必要です。
そこで我々は,クローンゲームと呼ばれる新しいフレームワークを導入する。
このフレームワークは、量子マネー、コピー保護、ブロック不能暗号化、単一復号器暗号化など、多くの基本的なプリミティブをキャプチャする。
異なる種類のクローンゲームについて推論することで、以下のことを含む、解読不能な暗号に多くの興味深い意味を持つ: 1. ワンタイム設定において、情報理論上セキュアなシングルデクリプタ暗号の最初の構成を得る。
2) BB84状態に基づく量子乱数オラクルモデルにおいて, コセット状態を用いた前回の処理を改善し, 拘束不能な暗号化を構築する。
私たちの作業は、以前の作業に対するよりシンプルなセキュリティ証明も提供します。
3) BB84状態に基づく量子乱数オラクルモデルにおける単一ビット点関数の複写保護を構築し, コセット状態を用いた前の作業を改善し, さらに, より単純な証明を与える。
4. コピー保護スキームの異なるチャレンジ分布とシングル暗号暗号スキームの関係を確立する。
5 最後に,認証削除を伴うワンタイム暗号化の新たな構築について述べる。 The powerful no-cloning principle of quantum mechanics can be leveraged to achieve interesting primitives, referred to as unclonable primitives, that are impossible to achieve classically. In the past few years, we have witnessed a surge of new unclonable primitives. While prior works have mainly focused on establishing feasibility results, another equally important direction, that of understanding the relationship between different unclonable primitives is still in its nascent stages. Moving forward, we need a more systematic study of unclonable primitives. To this end, we introduce a new framework called cloning games. This framework captures many fundamental unclonable primitives such as quantum money, copy-protection, unclonable encryption, single-decryptor encryption, and many more. By reasoning about different types of cloning games, we obtain many interesting implications to unclonable cryptography, including the following: 1. We obtain the first construction of information-theoretically secure single-decryptor encryption in the one-time setting. 2. We construct unclonable encryption in the quantum random oracle model based on BB84 states, improving upon the previous work, which used coset states. Our work also provides a simpler security proof for the previous work. 3. We construct copy-protection for single-bit point functions in the quantum random oracle model based on BB84 states, improving upon the previous work, which used coset states, and additionally, providing a simpler proof. 4. We establish a relationship between different challenge distributions of copy-protection schemes and single-decryptor encryption schemes. 5. Finally, we present a new construction of one-time encryption with certified deletion. | 翻訳日:2023-02-06 15:24:56 公開日:2023-02-03 |
| # 線形代数に対する量子ビット効率のよいランダム量子アルゴリズム Qubit-Efficient Randomized Quantum Algorithms for Linear Algebra ( http://arxiv.org/abs/2302.01873v1 ) ライセンス: Link先を確認 | Samson Wang, Sam McArdle, Mario Berta | (参考訳) 本稿では,行列関数に対する量子ブロック符号化や他のコヒーレントなオラクルアクセスを使わずに,行列関数からのサンプリングを行うためのランダム化量子アルゴリズムのクラスを提案する。
したがって、量子ビットの使用は純粋にアルゴリズムであり、量子データ構造には追加の量子ビットは必要ない。
N\times N$ Hermitian 行列の場合、空間コストは$\log(N)+1$ qubitsであり、行列の構造によっては、ゲートの複雑さは、等価なエンドツーエンドの問題を考えるとき、最大$O(N^2)$の量子データ構造を使用する最先端の手法に匹敵する。
筆者らのフレームワーク内では,解ベクトルの性質をサンプリングする量子線形系解法と,ハミルトニアンの基底状態の物性をサンプリングするアルゴリズムを提案する。
具体的な応用として、これらの2つのサブルーチンを組み合わせて、量子多体系のグリーン関数を計算するスキームを示す。 We propose a class of randomized quantum algorithms for the task of sampling from matrix functions, without the use of quantum block encodings or any other coherent oracle access to the matrix elements. As such, our use of qubits is purely algorithmic, and no additional qubits are required for quantum data structures. For $N\times N$ Hermitian matrices, the space cost is $\log(N)+1$ qubits and depending on the structure of the matrices, the gate complexity can be comparable to state-of-the-art methods that use quantum data structures of up to size $O(N^2)$, when considering equivalent end-to-end problems. Within our framework, we present a quantum linear system solver that allows one to sample properties of the solution vector, as well as an algorithm for sampling properties of ground states of Hamiltonians. As a concrete application, we combine these two sub-routines to present a scheme for calculating Green's functions of quantum many-body systems. | 翻訳日:2023-02-06 15:24:33 公開日:2023-02-03 |
| # MOSE:複雑なシーンにおけるビデオオブジェクトセグメンテーションのための新しいデータセット MOSE: A New Dataset for Video Object Segmentation in Complex Scenes ( http://arxiv.org/abs/2302.01872v1 ) ライセンス: Link先を確認 | Henghui Ding, Chang Liu, Shuting He, Xudong Jiang, Philip H.S. Torr, Song Bai | (参考訳) ビデオオブジェクトセグメンテーション(VOS)は、ビデオクリップシーケンス全体を通して特定のオブジェクトをセグメンテーションすることを目的としている。
最先端のVOSメソッドは、既存のデータセット上で優れたパフォーマンス(例えば、90%以上のJ&F)を達成した。
しかしながら、これらの既存のデータセットのターゲットオブジェクトは通常比較的健全で支配的で孤立しているため、複雑な環境下でのVOSの研究はほとんど行われていない。
VOSを再検討し、より現実世界に適用できるようにするため、複雑な環境でオブジェクトのトラッキングとセグメンテーションを研究するために、coMplex video Object SEgmentation (MOSE)と呼ばれる新しいVOSデータセットを収集する。
MOSEには36のカテゴリから2,149のビデオクリップと5,200のオブジェクトが含まれ、431,725の高品質なオブジェクトセグメンテーションマスクがある。
MOSEデータセットの最も重要な特徴は、混み合ったオブジェクトを含む複雑なシーンである。
ビデオのターゲットオブジェクトは、一般的に他の人によって隠され、いくつかのフレームで消える。
提案するmoseデータセットを解析するために,提案するmoseデータセットの4つの異なる設定下で18の既存のvosメソッドをベンチマークし,包括的比較を行う。
実験により、現在のVOSアルゴリズムは複雑な場面でオブジェクトを十分に知覚できないことが示された。
例えば、半教師付きVOS設定の下では、既存の最先端VOSメソッドによる最高 J&F は MOSE では 59.4% であり、DAVIS では 90% の J&F 性能よりもはるかに低い。
その結果、既存のベンチマークでは優れたパフォーマンスが達成されているものの、複雑な状況下では未解決の課題があり、将来的にはこれらの課題を探求する努力が求められていることがわかった。
提案されたmoseデータセットはhttps://henghuiding.github.io/moseでリリースされた。 Video object segmentation (VOS) aims at segmenting a particular object throughout the entire video clip sequence. The state-of-the-art VOS methods have achieved excellent performance (e.g., 90+% J&F) on existing datasets. However, since the target objects in these existing datasets are usually relatively salient, dominant, and isolated, VOS under complex scenes has rarely been studied. To revisit VOS and make it more applicable in the real world, we collect a new VOS dataset called coMplex video Object SEgmentation (MOSE) to study the tracking and segmenting objects in complex environments. MOSE contains 2,149 video clips and 5,200 objects from 36 categories, with 431,725 high-quality object segmentation masks. The most notable feature of MOSE dataset is complex scenes with crowded and occluded objects. The target objects in the videos are commonly occluded by others and disappear in some frames. To analyze the proposed MOSE dataset, we benchmark 18 existing VOS methods under 4 different settings on the proposed MOSE dataset and conduct comprehensive comparisons. The experiments show that current VOS algorithms cannot well perceive objects in complex scenes. For example, under the semi-supervised VOS setting, the highest J&F by existing state-of-the-art VOS methods is only 59.4% on MOSE, much lower than their ~90% J&F performance on DAVIS. The results reveal that although excellent performance has been achieved on existing benchmarks, there are unresolved challenges under complex scenes and more efforts are desired to explore these challenges in the future. The proposed MOSE dataset has been released at https://henghuiding.github.io/MOSE. | 翻訳日:2023-02-06 15:24:13 公開日:2023-02-03 |
| # 周期場における量子ウォークの指数減衰速度境界 Exponentially decaying velocity bounds of quantum walks in periodic fields ( http://arxiv.org/abs/2302.01869v1 ) ライセンス: Link先を確認 | Houssam Abdul-Rahman, G\"unter Stolz | (参考訳) 我々は、局所場の存在下で、CMVユニタリ行列に関連する離散時間1次元量子ウォークのクラスを考える。
このクラスは送信パラメータ $t\in[0,1]$ でパラメータ化される。
一定範囲の t$ に対して、十分大きな周期を持つ周期的局所場を導入することにより、対応する漸近速度を任意に小さくすることができることを示す。
特に、周期長$n$で指数関数的に減衰している$n$周期量子ウォークの速度の上限を証明している。
したがって、n$が大きければ長い量子ウォークステップの後にも、ローカライゼーションのような効果が観測される。 We consider a class of discrete-time one-dimensional quantum walks, associated with CMV unitary matrices, in the presence of a local field. This class is parametrized by a transmission parameter $t\in[0,1]$. We show that for a certain range for $t$, the corresponding asymptotic velocity can be made arbitrarily small by introducing a periodic local field with a sufficiently large period. In particular, we prove an upper bound for the velocity of the $n$-periodic quantum walk that is decaying exponentially in the period length $n$. Hence, localization-like effects are observed even after a long number of quantum walk steps when $n$ is large. | 翻訳日:2023-02-06 15:23:42 公開日:2023-02-03 |
| # 正方格子量子ハードウェア上のフェルミオン系の低深さシミュレーション Low-depth simulations of fermionic systems on square-grid quantum hardware ( http://arxiv.org/abs/2302.01862v1 ) ライセンス: Link先を確認 | Manuel G. Algaba, P. V. Sriluckshmy, Martin Leib, Fedor Simkovic IV | (参考訳) 本稿では,2量子ビットfsimゲート数を数える低深さ量子回路を生成する正方形量子ビット接続を持つ量子ハードウェアにフェルミイオン系をマッピングする一般的な戦略を提案する。
本稿では,特に選択したフェルミオン-量子ビットマッピングと組み合わせた新しい演算子分解と回路圧縮技術を用いて,高いゲートキャンセルと並列性を実現する。
我々の写像は、キュービット数やキュービット演算子重みを同時に最適化する柔軟性を保ち、任意のフェルミオン格子ジオメトリを調べるために使用できる。
我々は、強結合モデル、フェルミ・ハバードモデル、および多軌道ハバード・カナモリモデルについて検討することで、このアプローチを示す。
前例のない低回路深さを単一トロッター層毎に報告し,従来よりも最大で3.2改善した。
さらに, ネイティブパラメータ化2ビットゲートが存在しない場合でも, 分解および圧縮形式が有利な回路を生成することを示す。 We present a general strategy for mapping fermionic systems to quantum hardware with square qubit connectivity which yields low-depth quantum circuits, counted in the number of native two-qubit fSIM gates. We achieve this by leveraging novel operator decomposition and circuit compression techniques paired with specifically chosen fermion-to-qubit mappings that allow for a high degree of gate cancellations and parallelism. Our mappings retain the flexibility to simultaneously optimize for qubit counts or qubit operator weights and can be used to investigate arbitrary fermionic lattice geometries. We showcase our approach by investigating the tight-binding model, the Fermi-Hubbard model as well as the multi-orbital Hubbard-Kanamori model. We report unprecedentedly low circuit depths per single Trotter layer with up to a factor 3.2 improvement upon previous state-of-the-art. Additionally, we show that our decomposition and compression formalism produces favourable circuits even when no native parameterized two-qubit gates are available. | 翻訳日:2023-02-06 15:23:32 公開日:2023-02-03 |
| # 適応型ロボットと人間表現 Aligning Robot and Human Representations ( http://arxiv.org/abs/2302.01928v1 ) ライセンス: Link先を確認 | Andreea Bobu, Andi Peng, Pulkit Agrawal, Julie Shah, Anca D. Dragan | (参考訳) 例えば、コーヒーのカップを運ぶには、ロボットは動きの効率とカップの向きをその振る舞いで考慮しなければならない。
しかし、もし我々がロボットに人間と行動させたいのであれば、その表現は単に機能的なだけでなく、人間の関心事にも反映していなければならない。
本研究では,現在の報酬と模倣学習のアプローチが,ロボットが学習した表現が人間の表現を捉えない,表現の不一致に苦しむことを提案する。
我々は,人間がロボットのパフォーマンスを究極的に評価するので,下流の課題の学習に加えて,学習したタスク表現と人間との整合性を重視していくことが重要であることを示唆している。
ロボット工学における現在の表現学習アプローチは、表現アライメントの目的がいかにうまく達成されているかの観点から研究されるべきである。
そこで我々は,この問題を数学的に定義し,その鍵となるデシラタを同定し,このフォーマリズムの中に現在のロボット学習手法を置く。
オープンチャレンジの今後の方向性を提案することで,調査を締めくくります。 To act in the world, robots rely on a representation of salient task aspects: for example, to carry a cup of coffee, a robot must consider movement efficiency and cup orientation in its behaviour. However, if we want robots to act for and with people, their representations must not be just functional but also reflective of what humans care about, i.e. their representations must be aligned with humans'. In this survey, we pose that current reward and imitation learning approaches suffer from representation misalignment, where the robot's learned representation does not capture the human's representation. We suggest that because humans will be the ultimate evaluator of robot performance in the world, it is critical that we explicitly focus our efforts on aligning learned task representations with humans, in addition to learning the downstream task. We advocate that current representation learning approaches in robotics should be studied from the perspective of how well they accomplish the objective of representation alignment. To do so, we mathematically define the problem, identify its key desiderata, and situate current robot learning methods within this formalism. We conclude the survey by suggesting future directions for exploring open challenges. | 翻訳日:2023-02-06 15:16:31 公開日:2023-02-03 |
| # 変圧器の線形相対的位置符号化のためのフーリエ変換の学習 Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers ( http://arxiv.org/abs/2302.01925v1 ) ライセンス: Link先を確認 | Krzysztof Marcin Choromanski, Shanda Li, Valerii Likhosherstov, Kumar Avinava Dubey, Shengjie Luo, Di He, Yiming Yang, Tamas Sarlos, Thomas Weingarten, Adrian Weller | (参考訳) 本稿では,広範囲な相対位置符号化機構(rpes)を組み込んだ新しいリニアトランスフォーマ(flts)を提案する。
これらは非幾何学的データに適用される正規の RPE 技術や、高次元ユークリッド空間(例えば点雲)に埋め込まれたトークンの列で動作する新しい RPE 技術を含む。
FLTはスペクトル表現を学習することで、最適RPE機構を暗黙的に構築する。
効率的な低ランク線形注意とRPEを組み合わせた他のアーキテクチャとは異なり、FLTはメモリ使用量の観点からも実用的であり、RPEマスクの構造に関する追加の仮定を必要としない。
FLTはまた、ある構造的帰納バイアス手法を適用してマスキング戦略を指定できる。例えば、この論文で導入されたいわゆる局所RPEを学習し、他の言語モデリング用線形変換器と比較して精度の高いゲインを提供する。
また、画像分類や3次元分子モデリングなど、他のデータモダリティやタスクでFLTを徹底的にテストした。
3DデータFLTは、私たちの知る限り、最初のトランスフォーマーアーキテクチャであり、RPE強化線形注意を提供する。 We propose a new class of linear Transformers called FourierLearner-Transformers (FLTs), which incorporate a wide range of relative positional encoding mechanisms (RPEs). These include regular RPE techniques applied for nongeometric data, as well as novel RPEs operating on the sequences of tokens embedded in higher-dimensional Euclidean spaces (e.g. point clouds). FLTs construct the optimal RPE mechanism implicitly by learning its spectral representation. As opposed to other architectures combining efficient low-rank linear attention with RPEs, FLTs remain practical in terms of their memory usage and do not require additional assumptions about the structure of the RPE-mask. FLTs allow also for applying certain structural inductive bias techniques to specify masking strategies, e.g. they provide a way to learn the so-called local RPEs introduced in this paper and providing accuracy gains as compared with several other linear Transformers for language modeling. We also thoroughly tested FLTs on other data modalities and tasks, such as: image classification and 3D molecular modeling. For 3D-data FLTs are, to the best of our knowledge, the first Transformers architectures providing RPE-enhanced linear attention. | 翻訳日:2023-02-06 15:16:14 公開日:2023-02-03 |
| # 可変導波路QEDシミュレータ Variational waveguide QED simulators ( http://arxiv.org/abs/2302.01922v1 ) ライセンス: Link先を確認 | Cristian Tabares, Alberto Mu\~noz de las Heras, Luca Tagliacozzo, Diego Porras, Alejandro Gonz\'alez-Tudela | (参考訳) 導波路qedシミュレータは1次元フォトニックバンドギャップ材料と相互作用する量子エミッタによるアナログ量子シミュレータである。
彼らの注目すべき特徴の1つは、チューナブルレンジエミッター相互作用のエンジニアリングに使用できることである。
ここでは、これらの相互作用が特定の問題に対してより効率的な変分量子アルゴリズムを開発するためのリソースとなることを実証する。
特に,量子臨界スピンモデル (xxz, ising) の基底状態を正確に捉えた波動関数 ans\"atze を,最接近ゲートや無限距離エンタングリングゲートに基づく他の変分 ans\"atze よりも少ないゲートと最適化パラメータで生成する能力を示す。
最後に、ノイズの存在下での導波路 ans\atze の潜在的な利点について検討する。
これらの結果は, 相互作用範囲を変動パラメータとして, 位置導波路QEDシミュレータを変動量子アルゴリズムの有望なプラットフォームとして用いる可能性を示している。 Waveguide QED simulators are analogue quantum simulators made by quantum emitters interacting with one-dimensional photonic band-gap materials. One of their remarkable features is that they can be used to engineer tunable-range emitter interactions. Here, we demonstrate how these interactions can be a resource to develop more efficient variational quantum algorithms for certain problems. In particular, we illustrate their power in creating wavefunction ans\"atze that capture accurately the ground state of quantum critical spin models (XXZ and Ising) with less gates and optimization parameters than other variational ans\"atze based on nearest-neighbor or infinite-range entangling gates. Finally, we study the potential advantages of these waveguide ans\"atze in the presence of noise. Overall, these results evidence the potential of using the interaction range as a variational parameter and place waveguide QED simulators as a promising platform for variational quantum algorithms. | 翻訳日:2023-02-06 15:15:53 公開日:2023-02-03 |
| # PyGlove: MLのアイデアをコードとして効率的に交換する PyGlove: Efficiently Exchanging ML Ideas as Code ( http://arxiv.org/abs/2302.01918v1 ) ライセンス: Link先を確認 | Daiyi Peng, Xuanyi Dong, Esteban Real, Yifeng Lu, Quoc V. Le | (参考訳) 機械学習(ml)の複雑さと規模の増加は、複数のチーム間のより効率的なコラボレーションの必要性を招いた。
例えば、研究チームが"resnet"のような新しいアーキテクチャを発明する場合、複数のエンジニアリングチームがそれを採用することが望ましい。
しかしながら、各チームが発明を研究、理解するのに必要な労力は、チーム数や発明数ではうまくスケールしない。
本稿では PyGlove ライブラリを拡張して,ML のアイデアを容易に共有する。
pygloveはアイデアを象徴的なルールベースのパッチとして表現しており、研究者は見たことのないモデルのルールを書き留めることができる。
例えば、発明者は「スキップ接続を追加する」ルールを書くことができる。
これにより、チーム間のネットワーク効果が実現される。 一度にすべてのチームは、他のすべてのチームにパッチを発行できる。
このようなネットワーク効果により、ユーザはより少ないコードの記述でpygloveを採用するコストを迅速に超過することができ、時間とともにスケールするメリットを提供する。
我々は、シンボリックパッチを通じてMLを編成する新しいパラダイムを説明し、既存のアプローチと比較する。
また、PyGloveがコード行数を80%削減した大規模なコードベースのケーススタディも実施しています。 The increasing complexity and scale of machine learning (ML) has led to the need for more efficient collaboration among multiple teams. For example, when a research team invents a new architecture like "ResNet," it is desirable for multiple engineering teams to adopt it. However, the effort required for each team to study and understand the invention does not scale well with the number of teams or inventions. In this paper, we present an extension of our PyGlove library to easily and scalably share ML ideas. PyGlove represents ideas as symbolic rule-based patches, enabling researchers to write down the rules for models they have not seen. For example, an inventor can write rules that will "add skip-connections." This permits a network effect among teams: at once, any team can issue patches to all other teams. Such a network effect allows users to quickly surmount the cost of adopting PyGlove by writing less code quicker, providing a benefit that scales with time. We describe the new paradigm of organizing ML through symbolic patches and compare it to existing approaches. We also perform a case study of a large codebase where PyGlove led to an 80% reduction in the number of lines of code. | 翻訳日:2023-02-06 15:15:39 公開日:2023-02-03 |
| # トラップ型イオン量子コンピュータにおける計測・フィードフォワードからのトポロジカルオーダー Topological Order from Measurements and Feed-Forward on a Trapped Ion Quantum Computer ( http://arxiv.org/abs/2302.01917v1 ) ライセンス: Link先を確認 | Mohsin Iqbal, Nathanan Tantivasadakarn, Thomas M. Gatterman, Justin A. Gerber, Kevin Gilmore, Dan Gresh, Aaron Hankin, Nathan Hewitt, Chandler V. Horst, Mitchell Matheny, Tanner Mengle, Brian Neyenhuis, Ashvin Vishwanath, Michael Foss-Feig, Ruben Verresen, and Henrik Dreyer | (参考訳) 量子系は、schr\"odinger方程式または波動関数崩壊の2つの方法で時間とともに進化する。
これまでのところ、量子多体系の決定論的制御は、測定の確率論的性質のため、前者に焦点を当てている。
例えば、ユニタリ力学に制限された場合、長い範囲の絡み合った状態を作るには広い回路深さを必要とする。
本研究では,QuantinuumのH1プログラム型イオントラップ量子コンピュータ上で,中間回路計測とフィードフォワードを用いて決定論的非単位ダイナミクスを実装した。
これらの機能を有効にすることで、リアルタイムにtoricコード基底状態を作成するための、常に詳細な手順を初めて実証する。
高安定化率のフィディティに達することに加えて、ブレイディングを介してエノンを変換することによって存在が確認される非アベル欠陥を生成する。
この研究は、実験室で複雑なトポロジカルオーダーを作成する方法を明確にし、測定とフィードフォワードを通じて決定論的非ユニタリダイナミクスを探求する。 Quantum systems evolve in time in one of two ways: through the Schr\"odinger equation or wavefunction collapse. So far, deterministic control of quantum many-body systems in the lab has focused on the former, due to the probabilistic nature of measurements. This imposes serious limitations: preparing long-range entangled states, for example, requires extensive circuit depth if restricted to unitary dynamics. In this work, we use mid-circuit measurement and feed-forward to implement deterministic non-unitary dynamics on Quantinuum's H1 programmable ion-trap quantum computer. Enabled by these capabilities, we demonstrate for the first time a constant-depth procedure for creating a toric code ground state in real-time. In addition to reaching high stabilizer fidelities, we create a non-Abelian defect whose presence is confirmed by transmuting anyons via braiding. This work clears the way towards creating complex topological orders in the lab and exploring deterministic non-unitary dynamics via measurement and feed-forward. | 翻訳日:2023-02-06 15:15:20 公開日:2023-02-03 |
| # 群対称性下における確率発散のサンプル複雑性 Sample Complexity of Probability Divergences under Group Symmetry ( http://arxiv.org/abs/2302.01915v1 ) ライセンス: Link先を確認 | Ziyu Chen, Markos A. Katsoulakis, Luc Rey-Bellet, Wei Zhu | (参考訳) 群不変分布に対する変分発散推定のサンプル複雑性の改善を厳密に定量化する。
Wasserstein-1 計量と Lipschitz-regularized $\alpha$-divergences の場合、サンプルの複雑さの減少は、グループサイズの周囲次元依存性の力に比例する。
最大平均偏差 (mmd) については、群のサイズだけでなくカーネルの選択にも依存するため、サンプル複雑性の改善はより微妙なものである。
数値シミュレーションは我々の理論を検証する。 We rigorously quantify the improvement in the sample complexity of variational divergence estimations for group-invariant distributions. In the cases of the Wasserstein-1 metric and the Lipschitz-regularized $\alpha$-divergences, the reduction of sample complexity is proportional to an ambient-dimension-dependent power of the group size. For the maximum mean discrepancy (MMD), the improvement of sample complexity is more nuanced, as it depends on not only the group size but also the choice of kernel. Numerical simulations verify our theories. | 翻訳日:2023-02-06 15:15:02 公開日:2023-02-03 |
| # 拡大階層運動方程式によるスピンボーソン模型の線形吸収スペクトルの研究 Linear Absorption Spectrum of the Spin-Boson Model Studied by Extended Hierarchical Equations of Motion ( http://arxiv.org/abs/2302.01908v1 ) ライセンス: Link先を確認 | Qianlong Wang and Jianlan Wu | (参考訳) バス相関関数の分解法を用いて、階層的運動方程式(heom)を零温度サブオーミックおよびオーミックスピンボーソンモデルに拡張する。
サブオーミックおよびオーミックスピン-ボソンモデルの0温度における線形吸収スペクトルについて検討した。
拡張HEOMを適用することにより、平衡スピンダイナミクスがほぼ得られる。
そして、リウヴィル空間に書き直されたkubo公式に従って線形応答関数を算出する。
位相遷移の本質を探るため,双極子モーメントの線形応答関数によって定義される線形吸収スペクトルを計算した。
線形応答スペクトルのピーク構造を解析することにより, 線形吸収スペクトルの近藤パラメータと異なる浴指数との依存性を得る。
スピン緩和ダイナミクスは、コヒーレント非コヒーレント動的遷移(ci)と非局在化位相遷移(dl)を探索するためにも計算される。
dlとci遷移の対応する相図も得られる。
我々は, 深いサブオーミックモデルとオーミックスピンボーソンモデルの間のdl相転移の異なるメカニズムを理解するために, エネルギーレベル図を提示する。 With a decomposition scheme for the bath correlation function, the hierarchical equations of motion (HEOM) are extended to the zero-temperature sub-Ohmic and Ohmic spin-boson model. We investigate the linear absorption spectrum of the sub-Ohmic and Ohmic spin-boson model at zero temperature. By applying the extended HEOM, the equilibrium spin dynamics are obtained approximately. Then the linear response function is calculated according to the Kubo formula rewritten in Liouville space. To explore the essence of phase transition, we compute the linear absorption spectrum defined by the linear response function of a dipole moment. By analyzing the peak structure of the linear response spectrum, we get the dependence of linear absorption spectrum with Kondo parameter and different bath exponents. The spin relaxation dynamics are also calculated to explore the coherent-incoherent dynamic transition (CI) and delocalizedlocalized phase transition (DL). The corresponding phase diagram of DL and CI transition are also obtained. We pose a energy level picture to understand the different mechanism of DL phase transition between the deep sub-Ohmic and Ohmic spin-boson model. | 翻訳日:2023-02-06 15:14:52 公開日:2023-02-03 |
| # 非エルミートハミルトニアンによる波動関数崩壊の力学モデル A dynamical model for wavefunction collapse via non-Hermitian Hamiltonian ( http://arxiv.org/abs/2302.01898v1 ) ライセンス: Link先を確認 | Gurpahul Singh, Ritesh Kumar Singh and Soumitro Banerjee (Indian Institute of Science Education and Research Kolkata) | (参考訳) 量子力学の定式化以来、波動関数の崩壊過程についてはほとんど理解されていない。
我々は,量子力学の測定仮定をエミュレートする力学モデルを提案した。
我々は、非エルミートハミルトニアンが測定の過程で作用し、任意の状態が引き寄せる平衡状態へと進化し、「崩壊」を模倣すると仮定する。
これを2レベルシステムを用いて実証し,nレベルシステムに拡張する。
2レベル系に対して、リンドブラッド・マスター方程式によって生成される力学は、2つの非エルミート的ハミルトニアンによる進化の不整合和として再現できることを示した。 Ever since the formulation of quantum mechanics, there is very little understanding of the process of the collapse of a wavefunction. We have proposed a dynamical model to emulate the measurement postulates of quantum mechanics. We postulate that a non-Hermitian Hamiltonian operates during the process of measurement, which evolves any state to an attracting equilibrium state, thus, mimicking a "collapse". We demonstrate this using a 2-level system and then extend it to an N-level system. For a 2-level system, we also demonstrate that the dynamics generated by the Lindblad master equation can be replicated as an incoherent sum of the evolution by two separate non-Hermitian Hamiltonians. | 翻訳日:2023-02-06 15:14:32 公開日:2023-02-03 |
| # Egocentric Video Task Translation @ Ego4D Challenge 2022 Egocentric Video Task Translation @ Ego4D Challenge 2022 ( http://arxiv.org/abs/2302.01891v1 ) ライセンス: Link先を確認 | Zihui Xue, Yale Song, Kristen Grauman, Lorenzo Torresani | (参考訳) 本報告では,ego4d 課題における ego 中心のビデオタスク間の関係を探索する egotask 翻訳手法について述べる。
そこで本研究では,他のタスク用に開発された既存のモデルを活用するとともに,タスクの補助的特徴の「翻訳」を学ぶタスクトランスレータの設計を提案する。
ベースラインアーキテクチャを変更することなく、提案手法は2つのego4d課題において競争力を発揮でき、talking to meチャレンジでは1位、pnrキーフレームローカライゼーションチャレンジでは3位となっている。 This technical report describes the EgoTask Translation approach that explores relations among a set of egocentric video tasks in the Ego4D challenge. To improve the primary task of interest, we propose to leverage existing models developed for other related tasks and design a task translator that learns to ''translate'' auxiliary task features to the primary task. With no modification to the baseline architectures, our proposed approach achieves competitive performance on two Ego4D challenges, ranking the 1st in the talking to me challenge and the 3rd in the PNR keyframe localization challenge. | 翻訳日:2023-02-06 15:14:21 公開日:2023-02-03 |
| # 一度限りの強化: 並列ブロック, スキップ接続, 早期終了に関する研究 Enhancing Once-For-All: A Study on Parallel Blocks, Skip Connections and Early Exits ( http://arxiv.org/abs/2302.01888v1 ) ライセンス: Link先を確認 | Simone Sarti, Eugenio Lomurno, Andrea Falanti, Matteo Matteucci | (参考訳) 近年,ニューラルネットワークの設計を自動化するためにNAS(Neural Architecture Search)技術が普及している。
このようなニューラルネットワークを用いた異なるハードウェア特性を持つデバイスの普及と,検索の消費電力削減の必要性により,単一学習プロセスを通じて容易に適応可能なモデルを生成する能力によって特徴付けられる,エコフレンドリーなアルゴリズムである Once-For-All (OFA) が実現された。
本稿では,このパラダイムを改良し,高性能かつエコフレンドリーなnas技術を開発するために,同じ生態的優位性を維持しつつ,その性能向上を目的としたofaの拡張であるofav2を提案する。
このアルゴリズムは、早期出口、並列ブロック、高密度スキップ接続を含むアーキテクチャの観点から改善されている。
トレーニングプロセスは、Elastic LevelとElastic Heightと呼ばれる2つの新しいフェーズによって拡張されます。
マルチアウトプットネットワークを扱うための新しい知識蒸留技術を提案し,最後に動的教師ネットワーク選択のための新しい戦略を提案する。
これらの修正により、OFAv2はTiny ImageNetデータセットの精度をOFAのオリジナルバージョンと比較して最大12.07%向上し、アルゴリズムの柔軟性とアドバンテージを維持した。 The use of Neural Architecture Search (NAS) techniques to automate the design of neural networks has become increasingly popular in recent years. The proliferation of devices with different hardware characteristics using such neural networks, as well as the need to reduce the power consumption for their search, has led to the realisation of Once-For-All (OFA), an eco-friendly algorithm characterised by the ability to generate easily adaptable models through a single learning process. In order to improve this paradigm and develop high-performance yet eco-friendly NAS techniques, this paper presents OFAv2, the extension of OFA aimed at improving its performance while maintaining the same ecological advantage. The algorithm is improved from an architectural point of view by including early exits, parallel blocks and dense skip connections. The training process is extended by two new phases called Elastic Level and Elastic Height. A new Knowledge Distillation technique is presented to handle multi-output networks, and finally a new strategy for dynamic teacher network selection is proposed. These modifications allow OFAv2 to improve its accuracy performance on the Tiny ImageNet dataset by up to 12.07% compared to the original version of OFA, while maintaining the algorithm flexibility and advantages. | 翻訳日:2023-02-06 15:14:10 公開日:2023-02-03 |
| # 欧州人権裁判所における法的判断予測におけるタスク依存と対比学習の活用 Leveraging task dependency and contrastive learning for Legal Judgement Prediction on the European Court of Human Rights ( http://arxiv.org/abs/2302.00768v2 ) ライセンス: Link先を確認 | T.Y.S.S Santosh, Marcel Perez San Blas, Phillip Kemper, Matthias Grabmair | (参考訳) 本論文は,欧州人権裁判所における法的判断予測実験について報告し,本モデルがまず,州が違反しているとされる条約条項を事例事実記述から予測し,その情報を用いて裁判所による違反発見の予測を行う。
これら2つのタスク間の依存性を,機能レベルと結果レベルで評価する。
さらに,階層的コントラスト損失を利用して,高レベルなケースの具体的表現をプルアップし,個々の記事クラスタを識別し,その結果に基づいて各記事クラスタのケースをプルし,類似した結果を持つケースのサブクラスタへと導く。
実験の結果,静的な事前学習エンコーダを用いて,コントラスト損失のないシングルタスクモデルとジョイントモデルに対して,予測性能が小さいが一貫した改善が得られた。 We report on an experiment in legal judgement prediction on European Court of Human Rights cases where our model first learns to predict the convention articles allegedly violated by the state from case facts descriptions, and subsequently utilizes that information to predict a finding of a violation by the court. We assess the dependency between these two tasks at the feature and outcome level. Furthermore, we leverage a hierarchical contrastive loss to pull together article specific representations of cases at the higher level level, leading to distinctive article clusters, and further pulls the cases in each article cluster based on their outcome leading to sub-clusters of cases with similar outcomes. Our experiment results demonstrate that, given a static pre-trained encoder, our models produce a small but consistent improvement in prediction performance over single-task and joint models without contrastive loss. | 翻訳日:2023-02-06 12:20:51 公開日:2023-02-03 |
| # AmbiCoref: 曖昧な干渉に対する人間とモデル感度の評価 AmbiCoref: Evaluating Human and Model Sensitivity to Ambiguous Coreference ( http://arxiv.org/abs/2302.00762v2 ) ライセンス: Link先を確認 | Yuewei Yuan, Chaitanya Malaviya, Mark Yatskar | (参考訳) アビーがコートニーを動揺させたとブリトニーに告げた」という文を与えられたとき、「彼女」が誰を指しているのかを理解するのに苦労し、明確化を求めた。
しかし、"upset"という言葉が"hugged"に置き換えられた場合、"she"は曖昧にAbbyを指す。
現代のコアパラメータ分解モデルがそのような曖昧さに敏感かどうかを検討する。
この目的のために,不明瞭かつ曖昧な参照を持つ最小文対の診断コーパスである AmbiCoref を構築した。
本例では,動詞の特定の配列とその引数に関する曖昧さに対する人間の知覚に関する心理言語学的研究を一般化する。
分析の結果,(1)あいまいなAmbiCorefの例では,ヒトはあいまいな例よりも参照率を低く,(2)ほとんどのコア参照モデルはあいまいなペアとあいまいなペアの出力にはほとんど差がないことがわかった。
我々は、モデルが人間と類似したあいまいさを治療するかどうかをテストするための診断コーパスとしてAmbiCorefをリリースした。 Given a sentence "Abby told Brittney that she upset Courtney", one would struggle to understand who "she" refers to, and ask for clarification. However, if the word "upset" were replaced with "hugged", "she" unambiguously refers to Abby. We study if modern coreference resolution models are sensitive to such pronominal ambiguity. To this end, we construct AmbiCoref, a diagnostic corpus of minimal sentence pairs with ambiguous and unambiguous referents. Our examples generalize psycholinguistic studies of human perception of ambiguity around particular arrangements of verbs and their arguments. Analysis shows that (1) humans are less sure of referents in ambiguous AmbiCoref examples than unambiguous ones, and (2) most coreference models show little difference in output between ambiguous and unambiguous pairs. We release AmbiCoref as a diagnostic corpus for testing whether models treat ambiguity similarly to humans. | 翻訳日:2023-02-06 12:20:35 公開日:2023-02-03 |
| # 欧州人権裁判所における法律判断予測のゼロショット移転 Zero Shot Transfer of Legal Judgement Prediction as Article-aware Entailment for the European Court of Human Rights ( http://arxiv.org/abs/2302.00609v2 ) ライセンス: Link先を確認 | T.Y.S.S Santosh, Oana Ichim, Matthias Grabmair | (参考訳) 本稿では,欧州人権裁判所の判例テキストから法的判断予測(ljp)を補足タスクとして採用し,判例の結果を判例事実と条約記事の複合入力から分類した。
この構成は、記事テキストを特定の事実テキストにマッピングする際の、モデル学習の法的推論能力を促進する。
また、トレーニング中に見えない記事に対してケース結果の分類を依頼したときに、モデルをゼロショット設定に一般化する能力を評価する機会も提供する。
ゼロショットljp実験を考案し,ドメイン識別器とwasserstein距離に基づくドメイン適応法を適用した。
その結果,包含アーキテクチャは直接的な事実分類よりも優れていることがわかった。
また、ドメイン適応手法は、記事の関連性やエンコーダによる事前学習によってゼロショット転送性能を向上させる。 In this paper, we cast Legal Judgment Prediction (LJP) from text on European Court of Human Rights cases as an entailment task, where the case outcome is classified from a combined input of case facts and convention articles. This configuration facilitates the model learning legal reasoning ability in mapping article text to specific fact text. It also provides the opportunity to evaluate the model's ability to generalize to zero-shot settings when asked to classify the case outcome with respect to articles not seen during training. We devise zero-shot LJP experiments and apply domain adaptation methods based on domain discriminator and Wasserstein distance. Our results demonstrate that the entailment architecture outperforms straightforward fact classification. We also find that domain adaptation methods improve zero-shot transfer performance, with article relatedness and encoder pre-training influencing the effect. | 翻訳日:2023-02-06 12:20:19 公開日:2023-02-03 |
| # Navier-Stokes方程式の低次元パラメトリゼーションのための畳み込みオートエンコーダ、クラスタリングおよびPOD Convolutional Autoencoders, Clustering and POD for Low-dimensional Parametrization of Navier-Stokes Equations ( http://arxiv.org/abs/2302.01278v2 ) ライセンス: Link先を確認 | Yongho Kim, Jan Heiland | (参考訳) 大規模力学系のシミュレーションは高価な計算を必要とする。
固有直交分解(POD)のような高次元状態の低次元パラメトリゼーションは、精度とモデルの複雑さの間に一定の妥協を与えることにより、負担を軽減する解決策となる。
しかし、本当に低次元のパラメトリゼーション(例えばコントローラ設計)の場合、PODのような線形手法は自然の限界に達し、非線形アプローチが選択の方法となる。
本研究では,非線形エンコーダとアフィン線形デコーダを組み合わせた畳み込みオートエンコーダ(CAE)を提案する。
提案手法は, 圧縮不能なNavier-Stokes方程式をモデルとした2つのシリンダーウェイクシナリオにおける標準POD手法と比較した。 Simulations of large-scale dynamical systems require expensive computations. Low-dimensional parametrization of high-dimensional states such as Proper Orthogonal Decomposition (POD) can be a solution to lessen the burdens by providing a certain compromise between accuracy and model complexity. However, for really low-dimensional parametrizations (for example for controller design) linear methods like the POD come to their natural limits so that nonlinear approaches will be the methods of choice. In this work we propose a convolutional autoencoder (CAE) consisting of a nonlinear encoder and an affine linear decoder and consider combinations with k-means clustering for improved encoding performance. The proposed set of methods is compared to the standard POD approach in two cylinder-wake scenarios modeled by the incompressible Navier-Stokes equations. | 翻訳日:2023-02-06 12:11:00 公開日:2023-02-03 |
| # 速度制限下での高速量子コンピューティングのための並列運転 Parallel Driving for Fast Quantum Computing Under Speed Limits ( http://arxiv.org/abs/2302.01252v2 ) ライセンス: Link先を確認 | Evan McKinney, Chao Zhou, Mingkang Xia, Michael Hatridge, Alex K. Jones | (参考訳) 量子回路の忠実度を高めるには、エラーのデコヒーレンスを避けるための効率的な命令セットが必要である。
2量子ビット(2q)ハードウェア基底ゲートの選択は、量子変調器のネイティブハミルトニアン相互作用と応用制御ドライブに依存する。
本稿では,特定の変調器の最適基底ゲートを決定するドライブパラメータの最適な比率を選択するための協調設計手法を提案する。
これは、変調器駆動パラメータを考えると、ゲートの理論的計算能力とゲートの実際の速度制限を考慮する必要がある。
実用的な速度制限は、1つ以上のポンプを装着した場合の強い駆動に対するカプラーの許容性から生じ、いくつかの組み合わせによって他のものよりも全体的な速度制限が高くなる。
さらに、この2q基底ゲートは通常、キュービットに直接適用される1qゲートによってインターリーブされ、連続して複数回適用されるので、1qゲートの速度は量子回路の制限因子となる。
本稿では、変調器と量子ビットを同時に駆動し、2Qベースゲートのリッチな機能を実現する並列駆動方式を提案する。
これにより、いくつかの量子システムにおいてかなりのオーバーヘッドの源を緩和しながら、2qゲートの期間が短くなる。
このアプローチは、最も基本的な2Qゲートである$\sqrt{\textt{iSWAP}}$と比較して、回路長を17.84%削減し、ランダムな2Qゲートの不忠実度を10.5%削減することができる。 Increasing quantum circuit fidelity requires an efficient instruction set to avoid errors from decoherence. The choice of a two-qubit (2Q) hardware basis gate depends on a quantum modulator's native Hamiltonian interactions and applied control drives. In this paper, we propose a collaborative design approach to select the best ratio of drive parameters that determine the best basis gate for a particular modulator. This requires considering the theoretical computing power of the gate along with the practical speed limit of that gate, given the modulator drive parameters. The practical speed limit arises from the couplers' tolerance for strong driving when one or more pumps is applied, for which some combinations can result in higher overall speed limits than others. Moreover, as this 2Q basis gate is typically applied multiple times in succession, interleaved by 1Q gates applied directly to the qubits, the speed of the 1Q gates can become a limiting factor for the quantum circuit. We propose a parallel-drive approach that drives the modulator and qubits simultaneously, allowing a richer capability of the 2Q basis gate and in some cases for this 1Q drive time to be absorbed entirely into the 2Q operation. This allows increasingly short duration 2Q gates while mitigating a significant source of overhead in some quantum systems. On average, this approach can decrease circuit duration by 17.84% and decrease infidelity for random 2Q gates by 10.5% compared to the best basic 2Q gate, $\sqrt{\texttt{iSWAP}}$. | 翻訳日:2023-02-06 12:10:45 公開日:2023-02-03 |
| # 排除による多様性:価値分解による強化学習のためのニッチ同定 Diversity Through Exclusion (DTE): Niche Identification for Reinforcement Learning through Value-Decomposition ( http://arxiv.org/abs/2302.01180v2 ) ライセンス: Link先を確認 | Peter Sunehag, Alexander Sasha Vezhnevets, Edgar Du\'e\~nez-Guzm\'an, Igor Mordach, Joel Z. Leibo | (参考訳) 多くの環境は可変値の多くの利用可能なニッチを含み、それぞれが行動の空間(政治空間)において異なる局所的最適に関連付けられている。
このような状況下では、最適なニッチに突き当たるのに十分な長さの貧弱なローカルオプティマによる気晴らしを避けることができる学習プロセスを設計することはしばしば困難である。
本研究では,複数の可変値ニッチを持つ環境において,ベースライン深度Q-ラーニングアルゴリズムよりも優れた汎用強化学習(RL)アルゴリズムを提案する。
提案するアルゴリズムは,エージェントアーキテクチャと学習規則という2つの部分から構成される。
エージェントアーキテクチャは複数のサブ政治を含む。
学習ルールは、進化的計算におけるフィットネス共有にインスパイアされ、単一のエージェントの内部集団に対して新しい方法でバリュー分解ネットワークを用いた強化学習に適用される。
具体的には、ある政策の経験が他のすべての政策を更新するのに使われる余分な損失項を追加することで、訪問した州の価値見積を減少させることができる。
特に、あるサブポリティクスが特定の州を頻繁に訪れると、他のサブポリティクスで予測される値を減少させる。
さらに,異なる資源(すなわち複数のニッチ)を利用する複数の報酬戦略を持つタスクを容易に作成できる,人工化学インスパイアされたプラットフォームも紹介する。
この方法で訓練されたエージェントは、貧弱だが魅力ある局所最適化から逃れ、代わりに、人工化学環境と簡易なイラストレーション環境の両方において、より高価値な戦略に収束することを示します。 Many environments contain numerous available niches of variable value, each associated with a different local optimum in the space of behaviors (policy space). In such situations it is often difficult to design a learning process capable of evading distraction by poor local optima long enough to stumble upon the best available niche. In this work we propose a generic reinforcement learning (RL) algorithm that performs better than baseline deep Q-learning algorithms in such environments with multiple variably-valued niches. The algorithm we propose consists of two parts: an agent architecture and a learning rule. The agent architecture contains multiple sub-policies. The learning rule is inspired by fitness sharing in evolutionary computation and applied in reinforcement learning using Value-Decomposition-Networks in a novel manner for a single-agent's internal population. It can concretely be understood as adding an extra loss term where one policy's experience is also used to update all the other policies in a manner that decreases their value estimates for the visited states. In particular, when one sub-policy visits a particular state frequently this decreases the value predicted for other sub-policies for going to that state. Further, we introduce an artificial chemistry inspired platform where it is easy to create tasks with multiple rewarding strategies utilizing different resources (i.e. multiple niches). We show that agents trained this way can escape poor-but-attractive local optima to instead converge to harder-to-discover higher value strategies in both the artificial chemistry environments and in simpler illustrative environments. | 翻訳日:2023-02-06 12:10:18 公開日:2023-02-03 |
| # monoflow:微分方程式の観点から見た発散ガンの再考 MonoFlow: Rethinking Divergence GANs via the Perspective of Differential Equations ( http://arxiv.org/abs/2302.01075v2 ) ライセンス: Link先を確認 | Mingxuan Yi, Zhanxing Zhu, Song Liu | (参考訳) GAN(Generative Adversarial Network)における対人訓練の従来の理解は、判別器が分散を推定するために訓練され、生成器はこの分散を最小化する。
GANの多くの変種がこのパラダイムに従って開発されたという事実にもかかわらず、GANとその実践的アルゴリズムの現在の理論的理解は矛盾している。
本稿では,サンプル空間における粒子の進化を特徴づけるwasserstein勾配流を利用して,ganの理論的洞察とアルゴリズム的インスピレーションを得る。
粒子の進化は単調に増大する対数密度比のマッピングによって再スケールされる。
本手法では, 識別器の訓練によりモノフローのベクトル場を得る手順として, 相手のベクトル場によって定義される粒子流を描画することを学ぶ。
また,変動発散最小化と逆行訓練の基本的な違いを明らかにする。
この解析は,ganの学習にどのような種類のジェネレータ損失関数が寄与するかを明らかにするのに役立ち,モノフローを実現する限り,ganは文献以上の損失設計(例えば,不飽和損失)を持つ可能性があることを示唆する。
本フレームワークの有効性を検証するため, 一貫性のある実証研究を含む。 The conventional understanding of adversarial training in generative adversarial networks (GANs) is that the discriminator is trained to estimate a divergence, and the generator learns to minimize this divergence. We argue that despite the fact that many variants of GANs were developed following this paradigm, the current theoretical understanding of GANs and their practical algorithms are inconsistent. In this paper, we leverage Wasserstein gradient flows which characterize the evolution of particles in the sample space, to gain theoretical insights and algorithmic inspiration of GANs. We introduce a unified generative modeling framework - MonoFlow: the particle evolution is rescaled via a monotonically increasing mapping of the log density ratio. Under our framework, adversarial training can be viewed as a procedure first obtaining MonoFlow's vector field via training the discriminator and the generator learns to draw the particle flow defined by the corresponding vector field. We also reveal the fundamental difference between variational divergence minimization and adversarial training. This analysis helps us to identify what types of generator loss functions can lead to the successful training of GANs and suggest that GANs may have more loss designs beyond the literature (e.g., non-saturated loss), as long as they realize MonoFlow. Consistent empirical studies are included to validate the effectiveness of our framework. | 翻訳日:2023-02-06 12:09:54 公開日:2023-02-03 |
| # 時間グラフのためのグラフニューラルネットワーク:最先端、オープン課題、そして機会 Graph Neural Networks for temporal graphs: State of the art, open challenges, and opportunities ( http://arxiv.org/abs/2302.01018v2 ) ライセンス: Link先を確認 | Antonio Longa, Veronica Lachi, Gabriele Santin, Monica Bianchini, Bruno Lepri, Pietro Lio, Franco Scarselli and Andrea Passerini | (参考訳) グラフニューラルネットワーク(GNN)は、(静的)グラフ構造化データを学ぶための主要なパラダイムとなっている。
しかし、グラフとノード/エッジ属性は時間とともに変化するため、現実世界のシステムの多くは本質的に動的である。
近年, 時間グラフのためのGNNベースのモデルが, GNNの能力を拡張するための研究分野として注目されている。
本稿では,時間的GNNの現状を概観し,学習環境とタスクの厳密な形式化と,時間的側面の表現・処理方法の観点から既存のアプローチを分類する新たな分類法を提案する。
調査は、研究とアプリケーションの両方の観点から、この分野の最も関連するオープンチャレンジについて議論して締めくくった。 Graph Neural Networks (GNNs) have become the leading paradigm for learning on (static) graph-structured data. However, many real-world systems are dynamic in nature, since the graph and node/edge attributes change over time. In recent years, GNN-based models for temporal graphs have emerged as a promising area of research to extend the capabilities of GNNs. In this work, we provide the first comprehensive overview of the current state-of-the-art of temporal GNN, introducing a rigorous formalization of learning settings and tasks and a novel taxonomy categorizing existing approaches in terms of how the temporal aspect is represented and processed. We conclude the survey with a discussion of the most relevant open challenges for the field, from both research and application perspectives. | 翻訳日:2023-02-06 12:09:31 公開日:2023-02-03 |
| # オープンソースマルチターゲットドメイン適応 Open-Set Multi-Source Multi-Target Domain Adaptation ( http://arxiv.org/abs/2302.00995v2 ) ライセンス: Link先を確認 | Rohit Lal, Arihant Gaur, Aadhithya Iyer, Muhammed Abdullah Shaikh and Ritik Agrawal | (参考訳) single-source single-target domain adaptation (1s1t) はラベル付きソースドメインとラベルなしのターゲットドメインの間のギャップを埋めることを目的としている。
1s1tはよく研究されたトピックだが、通常は現実世界にデプロイされない。
マルチソース・ドメイン・アダプションやマルチターゲット・ドメイン・アダプションのような手法は実世界の問題をモデル化するために進化してきたが、まだ一般化していない。
これらの方法のほとんどがソースとターゲットの間の共通のラベルセットを仮定しているという事実は、非常に制限的である。
最近のOpen-Set Domain Adaptation法は、未知のターゲットラベルを扱うが、複数のドメインで一般化できない。
これらの課題を克服するために,まず,オープンセットマルチターゲットドメイン適応(os-nsmt)と呼ばれる新しいジェネリックドメイン適応(da)設定を提案し,nとmをそれぞれソースドメインとターゲットドメインの数とする。
次に、ターゲットの正確なラベルセットを知らずに複数のソースとターゲットドメインから情報をキャプチャできる、グラフ注目ベースのフレームワークdegaaを提案する。
提案手法は複数のソースと複数のターゲットに対して提供されているが,他の様々なDA設定に依存しない場合もある。
DEGAAの堅牢性と汎用性を確認するため,本研究では,十分な実験とアブレーション研究を行った。 Single-Source Single-Target Domain Adaptation (1S1T) aims to bridge the gap between a labelled source domain and an unlabelled target domain. Despite 1S1T being a well-researched topic, they are typically not deployed to the real world. Methods like Multi-Source Domain Adaptation and Multi-Target Domain Adaptation have evolved to model real-world problems but still do not generalise well. The fact that most of these methods assume a common label-set between source and target is very restrictive. Recent Open-Set Domain Adaptation methods handle unknown target labels but fail to generalise in multiple domains. To overcome these difficulties, first, we propose a novel generic domain adaptation (DA) setting named Open-Set Multi-Source Multi-Target Domain Adaptation (OS-nSmT), with n and m being number of source and target domains respectively. Next, we propose a graph attention based framework named DEGAA which can capture information from multiple source and target domains without knowing the exact label-set of the target. We argue that our method, though offered for multiple sources and multiple targets, can also be agnostic to various other DA settings. To check the robustness and versatility of DEGAA, we put forward ample experiments and ablation studies. | 翻訳日:2023-02-06 12:09:17 公開日:2023-02-03 |
| # 生体ネットワークと分子表現の学習による分子標的相互作用の予測 Predicting Molecule-Target Interaction by Learning Biomedical Network and Molecule Representations ( http://arxiv.org/abs/2302.00981v2 ) ライセンス: Link先を確認 | Jinjiang Guo and Jie Li | (参考訳) 分子標的相互作用の研究は、標的同定、ヒット同定、経路研究、薬物-薬物相互作用などの観点から、薬物発見において極めて重要である。
既存の手法の多くは、生体ネットワーク情報または分子構造情報を使用して、潜在的な相互作用リンクを予測する。
しかし, 生体医学的ネットワーク情報に基づく手法は, 通常はコールドスタート問題に苦しむが, 構造的手法は構造/相互作用の仮定とデータ品質によって性能が制限されることが多い。
これらの問題に対処するために,生物医学的ネットワークトポロジと分子構造・化学情報の両方を表現として学習し,与えられた分子と標的対の潜在的な相互作用を予測する,擬似シムグラフニューラルネットワーク手法 MTINet+ を提案する。
MTINet+では、バイオメディカルネットワークの既知の相互作用から、与えられた分子の1-ホップ部分グラフと標的ペアを抽出し、一方、分子構造と化学的属性を分子情報として処理する。
mtinet+はこれら2種類の情報を、ペアリンクを予測する埋め込み機能として学習する。
異なる分子標的相互作用タスクの実験では、mtinet+は最先端のベースラインを上回る。
さらに, 設計したネットワークスポーシティ実験において, MTINet+は, 異なる疎いバイオメディカルネットワークに対して強い堅牢性を示す。 The study of molecule-target interaction is quite important for drug discovery in terms of target identification, hit identification, pathway study, drug-drug interaction, etc. Most existing methodologies utilize either biomedical network information or molecule structural features to predict potential interaction link. However, the biomedical network information based methods usually suffer from cold start problem, while structure based methods often give limited performance due to the structure/interaction assumption and data quality. To address these issues, we propose a pseudo-siamese Graph Neural Network method, namely MTINet+, which learns both biomedical network topological and molecule structural/chemical information as representations to predict potential interaction of given molecule and target pair. In MTINet+, 1-hop subgraphs of given molecule and target pair are extracted from known interaction of biomedical network as topological information, meanwhile the molecule structural and chemical attributes are processed as molecule information. MTINet+ learns these two types of information as embedding features for predicting the pair link. In the experiments of different molecule-target interaction tasks, MTINet+ significantly outperforms over the state-of-the-art baselines. In addition, in our designed network sparsity experiments , MTINet+ shows strong robustness against different sparse biomedical networks. | 翻訳日:2023-02-06 12:08:52 公開日:2023-02-03 |
| # 言語量子化オートエンコーダ:教師なしテキスト画像アライメントに向けて Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment ( http://arxiv.org/abs/2302.00902v2 ) ライセンス: Link先を確認 | Hao Liu, Wilson Yan, Pieter Abbeel | (参考訳) 大規模言語モデルのスケールアップにおける最近の進歩は、さまざまなテキストベースのタスクで、わずかなショットで学習する能力を示している。
しかし、重要な制限は、これらの言語モデルが基本的に視覚知覚を欠いていることである - 視覚問合せやロボット工学のような、現実世界と対話し、視覚タスクを解決するためにこれらのモデルを拡張するために必要となる重要な属性である。
以前の作品は、キュレートされた画像テキストデータセットの事前トレーニングと/または微調整を通じて、画像とテキストをほぼ接続しており、コストとコストのかかるプロセスである。
この制限を解決するために,言語量化オートエンコーダ(lqae)と呼ばれる,事前学習された言語モデル(bert,robertaなど)を活用して,教師なしの方法でテキスト画像データのアラインメントを学ぶvq-vaeの改良手法を提案する。
我々の主な考え方は、事前訓練された言語コードブックを用いて画像埋め込みを直接定量化することで、画像をテキストトークンのシーケンスとしてエンコードすることである。
次に、無作為マスキングとBERTモデルを適用し、デコーダがBERT予測テキストトークン埋め込みから元の画像を再構成する。
これにより、LQAEは類似した画像と類似したテキストトークンのクラスタを表現することを学び、一致したテキストイメージペアを使わずにこれら2つのモダリティを整列させる。
これにより、大きな言語モデル(例えばGPT-3)による少数ショット画像の分類やBERTテキストの特徴に基づく画像の線形分類が可能になる。
私たちの知る限りでは,事前学習した言語モデルのパワーを活用することで,マルチモーダルタスクに不整合なイメージを使用する最初の作業です。 Recent progress in scaling up large language models has shown impressive capabilities in performing few-shot learning across a wide range of text-based tasks. However, a key limitation is that these language models fundamentally lack visual perception - a crucial attribute needed to extend these models to be able to interact with the real world and solve vision tasks, such as in visual-question answering and robotics. Prior works have largely connected image to text through pretraining and/or fine-tuning on curated image-text datasets, which can be a costly and expensive process. In order to resolve this limitation, we propose a simple yet effective approach called Language-Quantized AutoEncoder (LQAE), a modification of VQ-VAE that learns to align text-image data in an unsupervised manner by leveraging pretrained language models (e.g., BERT, RoBERTa). Our main idea is to encode image as sequences of text tokens by directly quantizing image embeddings using a pretrained language codebook. We then apply random masking followed by a BERT model, and have the decoder reconstruct the original image from BERT predicted text token embeddings. By doing so, LQAE learns to represent similar images with similar clusters of text tokens, thereby aligning these two modalities without the use of aligned text-image pairs. This enables few-shot image classification with large language models (e.g., GPT-3) as well as linear classification of images based on BERT text features. To the best of our knowledge, our work is the first work that uses unaligned images for multimodal tasks by leveraging the power of pretrained language models. | 翻訳日:2023-02-06 12:08:29 公開日:2023-02-03 |
| # SimMTM: Masked Time-Series Modelingのためのシンプルな事前トレーニングフレームワーク SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling ( http://arxiv.org/abs/2302.00861v2 ) ライセンス: Link先を確認 | Jiaxiang Dong, Haixu Wu, Haoran Zhang, Li Zhang, Jianmin Wang, Mingsheng Long | (参考訳) 時系列分析は広範囲で広く使われている。
近年,ラベリング費用を削減し,様々な業務に利益をもたらすために,自己監督型事前研修が注目されている。
メインストリームのパラダイムはマスクモデリングであり、マスクされていない部分に基づいてマスクされたコンテンツを再構築するために学習することで、深層モデルを事前学習することに成功している。
しかし、時系列の意味情報は主に時間変化に含まれているため、時間の一部にランダムにマスキングする標準的な方法は、時系列の重要な時間変化をひどく損なうことになり、表現学習を導くのが難しくなる。
そこで我々は,マスク付き時系列モデリングのための簡易事前学習フレームワークSimMTMを提案する。
マスク付きモデリングと多様体学習を関連づけることで、SimMTMは、複数の隣人の重み付けによるマスク付き時間点の復元を提案する。
SimMTMはさらに、マスクモデリングに役立つ多様体の局所構造を明らかにすることを学ぶ。
実験により、SimMTMは2つの標準時系列解析タスク(予測と分類)において最先端の微調整性能を達成する。 Time series analysis is widely used in extensive areas. Recently, to reduce labeling expenses and benefit various tasks, self-supervised pre-training has attracted immense interest. One mainstream paradigm is masked modeling, which successfully pre-trains deep models by learning to reconstruct the masked content based on the unmasked part. However, since the semantic information of time series is mainly contained in temporal variations, the standard way of randomly masking a portion of time points will ruin vital temporal variations of time series seriously, making the reconstruction task too difficult to guide representation learning. We thus present SimMTM, a Simple pre-training framework for Masked Time-series Modeling. By relating masked modeling to manifold learning, SimMTM proposes to recover masked time points by the weighted aggregation of multiple neighbors outside the manifold, which eases the reconstruction task by assembling ruined but complementary temporal variations from multiple masked series. SimMTM further learns to uncover the local structure of the manifold helpful for masked modeling. Experimentally, SimMTM achieves state-of-the-art fine-tuning performance in two canonical time series analysis tasks: forecasting and classification, covering both in- and cross-domain settings. | 翻訳日:2023-02-06 12:07:59 公開日:2023-02-03 |
| # 衛星insar時系列データのスペクトル解析によるテーリングダム崩壊リスクのモニタリング Monitoring the risk of a tailings dam collapse through spectral analysis of satellite InSAR time-series data ( http://arxiv.org/abs/2302.00781v2 ) ライセンス: Link先を確認 | Sourav Das, Anuradha Priyadarshana, Stephen Grebby | (参考訳) 斜面崩壊は破壊力を持ち、生命とインフラの両方に大きな損傷を与える。
したがって、不安定な斜面をモニタリングすることは、その失敗によって引き起こされるリスクを軽減するために重要である。
斜面モニタリングの目的は,斜面が変形する変位率の変化など,安定性問題の前兆を検出することである。
この情報は、早期警告を提供するために、差し迫った失敗のタイミングや確率を予測するのに使うことができる。
本研究では, 直列相関変位時系列データのスペクトル解析に基づいて, より客観的な統計的学習アルゴリズムを提案し, 斜面崩壊のリスクを検出し, 特徴付ける。
このアルゴリズムは、衛星ベースのインターフェロメトリ合成レーダー(InSAR)の変位時系列データに適用され、ブラジルにおける2019年のブルマディンホ尾翼ダム崩壊のリスクを遡及的に分析する。
2つの潜在的なリスクマイルストーンが特定され、決定的だが突発的なリスクの兆候(2018年2月27日 - 2018年8月26日)と、尾根ダムの崩壊の差し迫ったリスク(2018年6月27日 - 2018年12月24日)がアルゴリズムによって検出される。
重要なのは、2019年1月25日のダム崩壊の少なくとも5ヶ月前には、この障害リスクの前兆が検出されることだ。
本研究の結果は,insar変位時系列データのスペクトル法と2次統計特性の組み合わせにより,不安定な変形状態への遷移の兆しが明らかとなり,このアルゴリズムは破壊的斜面崩壊を緩和するのに十分な早期警告を与えることができることを示した。 Slope failures possess destructive power that can cause significant damage to both life and infrastructure. Monitoring slopes prone to instabilities is therefore critical in mitigating the risk posed by their failure. The purpose of slope monitoring is to detect precursory signs of stability issues, such as changes in the rate of displacement with which a slope is deforming. This information can then be used to predict the timing or probability of an imminent failure in order to provide an early warning. In this study, a more objective, statistical-learning algorithm is proposed to detect and characterise the risk of a slope failure, based on spectral analysis of serially correlated displacement time series data. The algorithm is applied to satellite-based interferometric synthetic radar (InSAR) displacement time series data to retrospectively analyse the risk of the 2019 Brumadinho tailings dam collapse in Brazil. Two potential risk milestones are identified and signs of a definitive but emergent risk (27 February 2018 to 26 August 2018) and imminent risk of collapse of the tailings dam (27 June 2018 to 24 December 2018) are detected by the algorithm. Importantly, this precursory indication of risk of failure is detected as early as at least five months prior to the dam collapse on 25 January 2019. The results of this study demonstrate that the combination of spectral methods and second order statistical properties of InSAR displacement time series data can reveal signs of a transition into an unstable deformation regime, and that this algorithm can provide sufficient early warning that could help mitigate catastrophic slope failures. | 翻訳日:2023-02-06 12:07:36 公開日:2023-02-03 |