このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20220515となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # プライベートデータの漏洩とマルコビアン性への運用的アプローチに関する上限 Upper bounds on the leakage of private data and operational approach to markovianity ( http://arxiv.org/abs/2107.10737v2 ) ライセンス: Link先を確認 | Karol Horodecki, Micha{\l} Studzi\'nski, Ryszard P. Kostecki, Omer Sakarya, Dong Yang | (参考訳) 量子鍵分布中に発生する秘密鍵漏洩とプライベートランダム性の結果を定量化する。
漏れが検出された後に、一方通行の蒸留キーに簡単な下限を設ける。
また,分散プライベートランダム性は,トレースアウトシステムの量子ビット数を2倍以上も減少しないことを示した。
さらに, 2 方向蒸留可能なキーがロック不能であることを示す, 既約なプライベート状態にも注目する。
次に,リカバリマップの考え方を参照して,この結果を強化する。
さらに,いくつかのプライベート状態に対するサイドチャネルの特別な場合の作用についても考察する。
最後に、(非)マルコフ力学のトピックとハッキングのトピックを結びつけます。
特に、特定のプライバシー証人が目撃した鍵が時間とともに増加する状態が存在する場合に限って、可逆写像が非CP分割可能であることを示す。
これは J. Kolody\'nski et al の最近の結果を補完する。
[Phys. Rev. A 101, 020303(R) (2020)] ここでは対数負性は力学の(非)マルコビアン性に結びついている。 We quantify the consequences of a private key leakage and private randomness generated during quantum key distribution. We provide simple lower bounds on the one-way distillable key after the leakage has been detected. We also show that the distributed private randomness does not drop by more than twice the number of qubits of the traced-out system. We further focus on irreducible private states, showing that their two-way distillable key is non-lockable. We then strengthen this result by referring to the idea of recovery maps. We further consider the action of special case of side-channels on some of the private states. Finally, we connect the topic of (non)markovian dynamics with that of hacking. In particular, we show that an invertible map is non-CP-divisible if and only if there exists a state whose the key witnessed by a particular privacy witness increases in time. This complements the recent result of J. Kolody\'nski et al. [Phys. Rev. A 101, 020303(R) (2020)] where the log-negativity was connected with the (non)markovianity of the dynamics. | 翻訳日:2023-03-21 05:21:54 公開日:2022-05-15 |
| # 時間結晶粒子と古典スピン4ベクトル Time-Crystal Particles and Classical Spin 4-vector ( http://arxiv.org/abs/2107.12158v3 ) ライセンス: Link先を確認 | Mario G. Silveirinha | (参考訳) 時間結晶は、系の基底状態が周期的に時間的に進化するように、時間-翻訳対称性の破れによって特徴づけられる物質のエキゾチックな相である。
比較的最近にタイムクリスタルの概念が導入されたが、関連する提案はルイ・ド・ブロイに遡ることができる。
論文の中でド・ブロイは、素粒子は微視的な世界での振る舞いを制御するある種の内部時計を持っているかもしれないと推測した。
ここで、私はド・ブロイの考えを再考し、古典力学の特別な極端な場合が自然に時間-結晶型力学をもたらすことを示す。
顕著なことに、時間結晶粒子は純粋にキネマティックな起源を持ち、ブロッホ球の速度軌道のバイノーマルによって決定されるスピン4ベクトルによって特徴づけられる。
時間-結晶粒子の力学は一般化された最小作用原理によって制御され、粒子は近くの空間を動的に探査し、作用を最小限に抑える方向に平均的に移動する。
私はこの理論を荷電粒子の場合に適用し、スピンの偏差を予測し、電子の異常な磁気モーメントの起源をシンプルで直感的に表現できることを発見した。
古典形式主義は、粗い時間スケールで有効な「有効理論」として回復される。 Time crystals are exotic phases of matter characterized by a broken time-translational symmetry, such that the ground state of the system evolves in time in a periodic fashion. Even though the time-crystal concept was introduced relatively recently, a related proposal can be traced back to Louis de Broglie. In his thesis, de Broglie conjectured that elementary particles may have some sort of internal clock that rules their behavior in the microscopic world. Here, I revisit de Broglie's idea and demonstrate that a special extreme case of classical mechanics yields in a natural way time-crystal type dynamics. Remarkably, it is found that time-crystal particles are characterized by a spin 4-vector that has a purely kinematic origin and is determined by the binormal of the velocity trajectory in the Bloch sphere. The dynamics of time-crystal particles is ruled by a generalized least action principle, such that the particle dynamically probes the nearby space and moves on average towards the direction that minimizes the action. I apply the theory to the case of charged particles and find that it predicts spin precession and that it provides a simple and intuitive picture for the origin of the anomalous magnetic moment of the electron. The classical formalism is recovered as an "effective theory" valid on a coarse time scale. | 翻訳日:2023-03-21 05:12:33 公開日:2022-05-15 |
| # 光子の経路情報の消去 Erasing the which-path information of photons ( http://arxiv.org/abs/2109.10467v2 ) ライセンス: Link先を確認 | Jinxian Guo, Qizhang Yuan, Yuan Wu, Weiping Zhang | (参考訳) 干渉計における量子粒子のどのパス情報が、量子粒子の過去を推測する鍵となる。
量子相補性と経路可視性関係を含む多くの広範な議論が生まれている。
これらの議論の基本は、経路情報の記述、検出、制御である。
本稿では,ネスト型マッハツェンダー干渉計における多次元正準経路情報の検討に着目する。
パス情報の一般表現を付与し、異なる検出方法により部分的に抽出することができる。
さらに解析した結果,入れ子型マッハツェンダー干渉計のアーム間の位相差とビーム分割比によって,どのパス情報を制御できることがわかった。
さらに,新たな経路情報除去現象を予測し,実験的に実証した。
我々の研究は量子粒子の物理を理解するのに役立ち、量子情報プロセスや量子気象学に応用できる可能性がある。 Which-path information of a quantum particle in interferometers is the key to infer the past of quantum particle. It arises many extensive discussions including quantum complementarity and path-visibility relation. The basic of these discussions are the description, detection and control of which-path information. In this article, we focus on the investigation of multidimensional which-path information in nested Mach-Zehnder interferometer. A general expression of which-path information is given and can be partially extracted by different detection method. Further analysis shows that the which-path information can be controlled by the phase differences and beam splitting ratios between the arms of nested Mach-Zehnder interferometer. Moreover, a new which-path information elimination phenomenon has been predicted and demonstrated experimentally. Our work can help to understand the physics of quantum particles, potentially apply to quantum information process and quantum metrology. | 翻訳日:2023-03-14 01:31:11 公開日:2022-05-15 |
| # 不完全な誤り訂正による分散センシングの強化 Enhancing distributed sensing with imperfect error correction ( http://arxiv.org/abs/2201.06513v3 ) ライセンス: Link先を確認 | Boyu Zhou, Anthony J. Brady and Quntao Zhuang | (参考訳) エンタングルメントは、分散量子センシングプロトコルを介して、センサネットワークにおける情報処理タスクの強化を約束している。
センサネットワークではノイズがユビキタスであるため,センサ間の均一ノイズと完全GKP状態の仮定として[New J. Phys. 22 022001 (2020)]に示すように,Gottesman, Kitaev, Preskill(GKP)状態に基づく誤差補正スキームが性能の向上に必要である。
ここでは、不均一ノイズモデルにおける有限圧縮GKP状態に対する性能向上の解析を拡張する。
まず、GKP-two-mode-squeezing符号の様々な結合方式について検討する。
従来の逐次連結スキームはノイズの抑制を改善するが, 有限GKPスクイーズの存在下での逐次結合スキームよりも優れたバランスの取れた連結スキームを提案する。
次に、これらの結果を分散量子センシング(パラメータ推定と仮説テスト)の2つの特定のタスクに適用し、不完全なスクイーズと性能のトレードオフを理解する。
前者の課題では、エネルギーに制約のあるシナリオを考慮し、センサ間で有限圧縮GKP状態のエネルギーを分配する最適な方法を提供する。
後者の課題では、現実的な有限圧縮GKP符号の連結により、誤差確率を劇的に低下させることができる。 Entanglement has shown promise in enhancing information processing tasks in a sensor network, via distributed quantum sensing protocols. As noise is ubiquitous in sensor networks, error correction schemes based on Gottesman, Kitaev and Preskill (GKP) states are required to enhance the performance, as shown in [New J. Phys. 22, 022001 (2020)] assuming homogeneous noise among sensors and perfect GKP states. Here, we extend the analyses of performance enhancement to finite squeezed GKP states in a heterogeneous noise model. To begin with, we study different concatenation schemes of GKP-two-mode-squeezing codes. While traditional sequential concatenation schemes in previous works do improve the suppression of noise, we propose a balanced concatenation scheme that outperforms the sequential scheme in presence of finite GKP squeezing. We then apply these results to two specific tasks in distributed quantum sensing -- parameter estimation and hypothesis testing -- to understand the trade-off between imperfect squeezing and performance. For the former task, we consider an energy-constrained scenario and provide an optimal way to distribute the energy of the finite squeezed GKP states among the sensors. For the latter task, we show that the error probability can still be drastically lowered via concatenation of realistic finite squeezed GKP codes. | 翻訳日:2023-02-28 22:47:00 公開日:2022-05-15 |
| # feqa: 量子アニール上の有限要素計算 FEqa: Finite Element Computations on Quantum Annealers ( http://arxiv.org/abs/2201.09743v2 ) ライセンス: Link先を確認 | Osama Muhammad Raisuddin, Suvranu De | (参考訳) 量子コンピュータを用いた有限要素法を用いて離散化された物理問題の解は比較的未開拓である。
ここでは、量子アニールを用いてそのような問題を解決する統一的な定式化(FEqa)を提案する。
FEqaは、有限要素問題を古典的コンピュータ上で定式化し、残余を量子アニールを用いて最小化するハイブリッド技術である。
feqaの利点は、自由度毎の1キュービットの活用、ディリクレ境界条件の事前適用、任意の解精度の達成、無効な結果を生成するアニーラの可能性を排除できる。
FEqaは、SPMD(Single Program Multiple Data)の性質のためアルゴリズムの古典的な部分でスケーラブルであり、アニーラーからの基底状態ソリューションに依存しない。
量子アニーリングで使用される多数のコロケーション点を指数的に多くのコサイン測度で研究し、その特性を活用するために新しい反復法を開発した。
量子アニール器は、シミュレーションアニールよりも計算時間に明らかな利点がある。
この研究は、量子アニーラを用いた物理問題を解くための経路を提供する。 The solution of physical problems discretized using the finite element methods using quantum computers remains relatively unexplored. Here, we present a unified formulation (FEqa) to solve such problems using quantum annealers. FEqa is a hybrid technique in which the finite element problem is formulated on a classical computer, and the residual is minimized using a quantum annealer. The advantages of FEqa include utilizing a single qubit per degree of freedom, enforcing Dirichlet boundary conditions a priori, reaching arbitrary solution precision, and eliminating the possibility of the annealer generating invalid results. FEqa is scalable on the classical portion of the algorithm due to its Single Program Multiple Data (SPMD) nature and does not rely on ground state solutions from the annealer. The exponentially large number of collocation points used in quantum annealing are investigated for their cosine measures, and new iterative techniques are developed to exploit their properties. The quantum annealer has clear advantages in computational time over simulated annealing, for the example problems presented in this paper solved on the D-Wave machine. The presented work provides a pathway to solving physical problems using quantum annealers. | 翻訳日:2023-02-28 10:04:19 公開日:2022-05-15 |
| # 不正確な測定による絡み合い検出 Entanglement detection with imprecise measurements ( http://arxiv.org/abs/2202.13131v2 ) ライセンス: Link先を確認 | Simon Morelli, Hayata Yamasaki, Marcus Huber, Armin Tavakoli | (参考訳) 局所的な測定が意図した値にほぼ一致する場合の絡み合い検出について検討する。
これは測定装置が完全に制御されていないが、それでも境界不正確な操作を行うシナリオに対応する。
我々は、実験室で直接推定できる不正確さという操作的概念を通じてこれを定式化する。
このアプローチの妥当性を示すために,少数の不正確さがいくつかの有名な絡み合いの目撃者を著しく損なう可能性があることを示す。
2つの任意次元システムに対して、任意の測定精度の不正確さにより、標準的な絡み目の家族に対して厳密な補正を行う方法を示す。
また,これらのシナリオの相関関係を限定する半定値プログラミング手法を開発した。 We investigate entanglement detection when the local measurements only nearly correspond to those intended. This corresponds to a scenario in which measurement devices are not perfectly controlled, but nevertheless operate with bounded inaccuracy. We formalise this through an operational notion of inaccuracy that can be estimated directly in the lab. To demonstrate the relevance of this approach, we show that small magnitudes of inaccuracy can significantly compromise several renowned entanglement witnesses. For two arbitrary-dimensional systems, we show how to compute tight corrections to a family of standard entanglement witnesses due to any given level of measurement inaccuracy. We also develop semidefinite programming methods to bound correlations in these scenarios. | 翻訳日:2023-02-23 21:30:30 公開日:2022-05-15 |
| # ブレッドマヨラナの第一量子化 First quantization of braided Majorana fermions ( http://arxiv.org/abs/2203.01776v3 ) ライセンス: Link先を確認 | Francesco Toppan | (参考訳) 量子ビット {{\mathbb z}_2$-graded qubit は偶数(ボソニック)の「真空状態」と奇数で興奮したマヨラナフェルミオン状態を表す。
N$, Braided, Indistinguishable Majorana fermionsの多粒子セクターは、第一量子化によって構成される。
このフレームワークは、ブレイドテンソル積を持つ次数付きホップ代数のものである。
ホップ代数は${u}({\mathfrak {gl}}(1|1))$であり、${\mathfrak{gl}}(1|1)$ 超代数の普遍包絡代数である。
4\times 4$ Braiding matrix $B_t$ は、ブレイドテンソル積を定義する。
アレキサンダー=コンウェイ多項式の r$-行列に関連する$b_t$ は、摂動平面に属するブレイディングパラメータ $t$ (t\in {\mathbb c}^\ast$) に依存するが、フェルミオンの通常の反対称性は$t=1$ で取り戻される。
n$ ごとに、次数付き多粒子ヒルベルト空間の次数次元 $m|n$ が計算される。
一般の場合のほかに、t$ が多項式方程式の順序集合の解として現れるユニティのある種の根と一致するとき、切断が起こる。
ユニティの根は、多粒子セクターにおいて許容されるマヨラナフェルミオンの最大数を指定するレベルに分類される。
${\mathbb Z}_2$-graded Hilbert 空間の偶数/奇数セクターが超選択されていることを考慮し、$t\neq 1$ の非自明なブレイディングは、クォービット、クォートなどによって記述される非自明なヒルベルト空間を生成するために必須である。 A ${\mathbb Z}_2$-graded qubit represents an even (bosonic) "vacuum state" and an odd, excited, Majorana fermion state. The multiparticle sectors of $N$, braided, indistinguishable Majorana fermions are constructed via first quantization. The framework is that of a graded Hopf algebra endowed with a braided tensor product. The Hopf algebra is ${U}({\mathfrak {gl}}(1|1))$, the Universal Enveloping Algebra of the ${\mathfrak{gl}}(1|1)$ superalgebra. A $4\times 4$ braiding matrix $B_t$ defines the braided tensor product. $B_t$, which is related to the $R$-matrix of the Alexander-Conway polynomial, depends on the braiding parameter $t$ belonging to the punctured plane ($t\in {\mathbb C}^\ast$); the ordinary antisymmetry property of fermions is recovered for $t=1$. For each $N$, the graded dimension $m|n$ of the graded multiparticle Hilbert space is computed. Besides the generic case, truncations occur when $t$ coincides with certain roots of unity which appear as solutions of an ordered set of polynomial equations. The roots of unity are organized into levels which specify the maximal number of allowed braided Majorana fermions in a multiparticle sector. By taking into account that the even/odd sectors in a ${\mathbb Z}_2$-graded Hilbert space are superselected, a nontrivial braiding with $t\neq 1$ is essential to produce a nontrivial Hilbert space described by qubits, qutrits, etc., since at $t=1$ the $N$-particle vacuum and the antisymmetrized excited state encode the same information carried by a classical $1$-bit. | 翻訳日:2023-02-23 05:43:55 公開日:2022-05-15 |
| # 動的量子幾何テンソルによる量子断熱過程の高速化 Speeding up quantum adiabatic processes with dynamical quantum geometric tensor ( http://arxiv.org/abs/2203.03164v2 ) ライセンス: Link先を確認 | Jin-Fu Chen | (参考訳) 量子系の断熱制御では、非断熱遷移はプロセスの動作時間を増やすことで減少する。
完全量子断熱性は通常、制御パラメータの無限に遅い変動を必要とする。
本稿では、制御パラメータ空間における計量として、量子断熱過程を高速化し、比較的短時間で量子断熱性に達する動的量子幾何テンソルを提案する。
量子アディバティティティに到達するための最適なプロトコルは、測定値に従って測地線経路に沿って一定の速度で制御パラメータを変更することである。
n 番目の固有状態から開始される系では、最適プロトコルの遷移確率は、演算時間 \tau と、計量によって誘導される量子断熱長 \mathcal{L}_{n} と、P_{n}(t)\leq4\mathcal{L}_{n}^{2}/\tau^{2} によって制限される。
我々の最適化戦略はランドウ・ツェナーモデルと1次元横イジングモデルという2つの明示的なモデルによって示される。 For adiabatic controls of quantum systems, the non-adiabatic transitions are reduced by increasing the operation time of processes. Perfect quantum adiabaticity usually requires the infinitely slow variation of control parameters. In this paper, we propose the dynamical quantum geometric tensor, as a metric in the control parameter space, to speed up quantum adiabatic processes and reach quantum adiabaticity in relatively short time. The optimal protocol to reach quantum adiabaticity is to vary the control parameter with a constant velocity along the geodesic path according to the metric. For the system initiated from the n-th eigenstate, the transition probability in the optimal protocol is bounded by P_{n}(t)\leq4\mathcal{L}_{n}^{2}/\tau^{2} with the operation time \tau and the quantum adiabatic length \mathcal{L}_{n} induced by the metric. Our optimization strategy is illustrated via two explicit models, the Landau-Zener model and the one-dimensional transverse Ising model. | 翻訳日:2023-02-22 22:12:38 公開日:2022-05-15 |
| # 自動車のブロードインパクトの社会技術仕様 Sociotechnical Specification for the Broader Impacts of Autonomous Vehicles ( http://arxiv.org/abs/2205.07395v1 ) ライセンス: Link先を確認 | Thomas Krendl Gilbert, Aaron J. Snoswell, Michael Dennis, Rowan McAllister, Cathy Wu | (参考訳) 自動運転車(AV)は社会に変革をもたらすだろう。
個々の車両の安全性と効率性以外にも、これらの効果は人々が交通システム全体と対話する方法を変える。
これにより、社会的な成果や、それらの成果がどのように分配されるかに、広範囲で予測可能な影響が生じる。
しかし、AVの個人行動と全体の交通の流れの両方を制御できる能力は、AVがこれらの効果を制御できる新しい余裕を提供する。
これは社会技術的仕様の問題を含み、輸送システムのどの重要な特徴がav開発のスコープ外であるかを区別する必要がある。
本稿では, 技術的, 社会技術的, 社会的問題の観点から, この問題空間を提示し, 社会移動性, 公共インフラ, 環境影響の輸送システムの構成要素について, それぞれの例を示す。
その結果得られた研究方法論は、開発者がAVシステムコンポーネントにより多くのトランスポートシステム機能を組み込んで評価するための道筋をスケッチしている。 Autonomous Vehicles (AVs) will have a transformative impact on society. Beyond the local safety and efficiency of individual vehicles, these effects will also change how people interact with the entire transportation system. This will generate a diverse range of large and foreseeable effects on social outcomes, as well as how those outcomes are distributed. However, the ability to control both the individual behavior of AVs and the overall flow of traffic also provides new affordances that permit AVs to control these effects. This comprises a problem of sociotechnical specification: the need to distinguish which essential features of the transportation system are in or out of scope for AV development. We present this problem space in terms of technical, sociotechnical, and social problems, and illustrate examples of each for the transport system components of social mobility, public infrastructure, and environmental impacts. The resulting research methodology sketches a path for developers to incorporate and evaluate more transportation system features within AV system components over time. | 翻訳日:2023-02-19 16:53:18 公開日:2022-05-15 |
| # mask and cloze: マスク言語モデルを用いたオープンクローズ質問の自動生成 Mask and Cloze: Automatic Open Cloze Question Generation using a Masked Language Model ( http://arxiv.org/abs/2205.07202v1 ) ライセンス: Link先を確認 | Shoya Matsumori, Kohei Okuoka, Ryoichi Shibata, Minami Inoue, Yosuke Fukuchi, Michita Imai | (参考訳) オープン・クローゼ・質問はL2英語学習者の能力測定と学習促進の両面から注目を集めている。
その利点にもかかわらず、オープン・クローゼ・テストは、主に教師が手動で質問を作成できないため、教育面で散発的に導入されている。
より一般的に使われる多重選択質問(mcq)とは異なり、オープンクローズ質問は自由形式であり、教師は基礎的な真理のみを答え、追加の言葉が空白で受け入れられないことを保証する必要がある。
この負担を軽減するため、私たちは自動オープンクローズ質問生成器であるclozerを開発した。
そこで本研究では,1,600の回答を定量的に評価し,基礎的真理のみを受け入れるオープン・クローズ問題の生成を統計的に示す。
人為的な質問を比較実験した結果、CLOZERは普通の英語教師よりもOCQを生成できることがわかった。
さらに,CLOZER導入時のメリットとハードルを明らかにするため,地元の高校でフィールドスタディを実施している。
その結果,学生が言語学習に有用であることがわかった。
最後に,本研究の成果に基づいて,いくつかの設計改善を提案する。 Open cloze questions have been attracting attention for both measuring the ability and facilitating the learning of L2 English learners. In spite of its benefits, the open cloze test has been introduced only sporadically on the educational front, largely because it is burdensome for teachers to manually create the questions. Unlike the more commonly used multiple choice questions (MCQ), open cloze questions are in free form and thus teachers have to ensure that only a ground truth answer and no additional words will be accepted in the blank. To help ease this burden, we developed CLOZER, an automatic open cloze question generator. In this work, we evaluate CLOZER through quantitative experiments on 1,600 answers and show statistically that it can successfully generate open cloze questions that only accept the ground truth answer. A comparative experiment with human-generated questions also reveals that CLOZER can generate OCQs better than the average non-native English teacher. Additionally, we conduct a field study at a local high school to clarify the benefits and hurdles when introducing CLOZER. The results demonstrate that while students found the application useful for their language learning. Finally, on the basis of our findings, we proposed several design improvements. | 翻訳日:2023-02-19 16:52:30 公開日:2022-05-15 |
| # 位置依存質量をもつ超積分およびスケール不変量子力学系 Superintegrable and scale invariant quantum mechanical systems with position dependent mass ( http://arxiv.org/abs/2204.09046v2 ) ライセンス: Link先を確認 | A. G. Nikitin | (参考訳) スケール不変で運動の2階積分を許容する位置依存質量を持つシュレーディンガー方程式を分類する。 Schroedinger equations with position dependent mass which are scale invariant and admit second order integrals of motion are classified. | 翻訳日:2023-02-16 16:56:53 公開日:2022-05-15 |
| # 経路積分に基づく重要サンプリング法による量子相関関数の計算 Computing quantum correlation functions by Importance Sampling method based on path integrals ( http://arxiv.org/abs/2204.12836v2 ) ライセンス: Link先を確認 | Sumita Datta | (参考訳) 一般化されたファインマン・カック法に基づく重要サンプリング法は、ゼロ温度と有限温度の両方で多くの体系の量子相関関数から量子可観測物の平均値を計算するために用いられる。
具体的には、リチウムおよびベリリウムの基底状態および密度行列、分配関数、内部エネルギー、量子調和振動子系の比熱に対して、$\langle r_i^n\rangle$,$\langle r_i^{-n}\rangle$,$\langle r_{ij}^{-n}\rangle$,$\langle r_{ij}^{-n}\rangle$の期待値を計算し、これらの量に対する最良の非相対論的値とよく一致させる。
初期の成果は目立たないが、リチウムとベリリウムの2つの性質について特に化学的なアキュラシーを超えて、他の既存の数値結果を改善するために、さらなる実験が必要である。
また、有限温度計算の試行関数を改善するためには、さらなる作業が必要である。 An importance sampling method based on Generalized Feynman-Kac method has been used to calculate the mean values of quantum observables from quantum correlation functions for many body systems both at zero and finite temperature. Specifically, the expectation of $\langle r_i^n\rangle$, $\langle r_{ij}^n\rangle$, $\langle r_i^{-n}\rangle$ and $\langle r_{ij}^{-n}\rangle$ for the ground state of the lithium and beryllium and the density matrix, the partition function, the internal energy and the specific heat of a system of quantum harmonic oscillators are computed, in good agreement with the best nonrelativistic values for these quantities. Although the initial results are encouarging, more experimentation will be needed to improve the other existing numerical results beyond chemical accuracies specially for the last two properties for lithium and beryllium. Also more work needs to be done to improve the trial functions for finite temperature calculations. | 翻訳日:2023-02-15 09:18:20 公開日:2022-05-15 |
| # 断熱分離体の統計的分布について On Statistical Distribution for Adiabatically Isolated Body ( http://arxiv.org/abs/2205.07232v1 ) ライセンス: Link先を確認 | Natalia Gorobey, Alexander Lukyanenko, and A. V. Goltsev | (参考訳) 共変量子論と複素時間平面におけるウィックの回転の枠組みから、断熱的に孤立した天体の場合の統計的分布が得られた。
孤立系の力学の共変定式化は絶対時間の拒絶と独立な動的変数としての適切な時間の導入にある。
適切な時間運動の方程式はエネルギーの保存の法則である。
この場合、孤立系のエネルギーは温度の代わりに修正された分布の外部パラメータである。 The statistical distribution for the case of an adiabatically isolated body was obtained in the framework of covariant quantum theory and Wick's rotation in the complex time plane. The covariant formulation of the mechanics of an isolated system lies in the rejection of absolute time and the introduction of proper time as an independent dynamic variable. The equation of motion of proper time is the law of conservation of energy. In this case, the energy of an isolated system is an external parameter for the modified distribution instead of temperature. | 翻訳日:2023-02-13 02:12:11 公開日:2022-05-15 |
| # SAPPHIRE:量子スピン増幅器による異種パリティ-違反相互作用の探索 SAPPHIRE: Search for exotic parity-violation interactions with quantum spin amplifiers ( http://arxiv.org/abs/2205.07222v1 ) ライセンス: Link先を確認 | Yuanhong Wang, Ying Huang, Chang Guo, Min Jiang, Xiang Kang, Haowen Su, Yushu Qin, Wei Ji, Dongdong Hu, Xinhua Peng, Dmitry Budker | (参考訳) 量子センシングは、標準的なモデルを超えてエキゾチックなスピン依存相互作用を探索するためのセンシティブなテーブルトップツールを提供する。
本稿では,素粒子物理学研究のための量子スピン増幅器(sapphire)に基づく手法を開発し,異種相互作用,特にパリティオードスピンスピンスピンスピン相互作用を共振的に探索する。
本手法は,外磁場に敏感でありながら,約200因子の異方性相互作用によって生じる擬似磁場を効果的に増幅する。
このような量子増幅技術を用いて、挑戦パラメータ空間(3mmから0.1kmの範囲)において、Z'ボソンが媒介するパリティ-振動相互作用を探索する扉を開き、Z'を介する電子-中性子カップリングに最も制約を課し、それまでの限界を最大5桁まで改善した。
さらに、z' を媒介とする核子間のカップリングの境界は、既存の天体物理学および実験室の研究を補完する1m以下の力範囲のパラメータ空間にまで達する。 Quantum sensing provides sensitive tabletop tools to search for exotic spin-dependent interactions beyond the Standard Model, which has attracted great attention in theories and experiments. Here we develop a technique based on quantum Spin Amplifier for Particle PHysIcs REsearch (SAPPHIRE) to resonantly search for exotic interactions, specifically parity-odd spin-spin interactions. The present technique effectively amplifies the pseudomagnetic field generated by exotic interactions by a factor of about 200 while being insensitive to spurious external magnetic fields. Our studies, using such a quantum amplification technique, open the doors to exploring the parity-violation interactions mediated by Z' bosons in the challenging parameter space (force range between 3 mm and 0.1 km) and set the most stringent constraints on Z'-mediated electron-neutron couplings, significantly improving previous limits by up to five orders of magnitude. Moreover, our bounds on Z'-mediated couplings between nucleons reaches into a hitherto unexplored parameter space (force range below 1 m), complementing the existing astrophysical and laboratory studies. | 翻訳日:2023-02-13 02:12:04 公開日:2022-05-15 |
| # 量子チャネル容量について:加法精製 On quantum channel capacities: an additive refinement ( http://arxiv.org/abs/2205.07205v1 ) ライセンス: Link先を確認 | D.-S. Wang | (参考訳) 量子チャネルの容量は、量子情報理論の基本的な量である。
望ましい性質は容量に対する付加性である。
しかし、容量尺度として確立された数量では達成できない。
漸近的正則化は一般的に必要であり、能力の研究を困難にしている。
本研究では,量子通信の物理的設定を適切に洗練することにより,量子シャノンの定理に適用可能な量子チャネル容量に対する付加量を証明する。
この洗練は、標準的な設定からわずかに離れており、量子理論の原理と一致しており、量子情報の基盤としてフォン・ノイマンエントロピーがさらに証明されている。 Capacities of quantum channels are fundamental quantities in the theory of quantum information. A desirable property is the additivity for a capacity. However, this cannot be achieved for a few quantities that have been established as capacity measures. Asymptotic regularization is generically necessary making the study of capacities notoriously hard. In this work, by a proper refinement of the physical settings of quantum communication, we prove additive quantities for quantum channel capacities that can be employed for quantum Shannon theorems. This refinement, only a tiny step away from the standard settings, is consistent with the principle of quantum theory, and it further demonstrates von Neumann entropy as the cornerstone of quantum information. | 翻訳日:2023-02-13 02:11:41 公開日:2022-05-15 |
| # 多状態スワップテストアルゴリズム Multi-state Swap Test Algorithm ( http://arxiv.org/abs/2205.07171v1 ) ライセンス: Link先を確認 | Wen Liu, Han-Wen Yin, Zhi-Rao Wang, Wen-Qin Fan | (参考訳) 2つの状態間の重なりを推定することは、量子情報におけるいくつかの応用において重要な課題である。
しかし、典型的なスワップテスト回路は、一度に唯一の量子状態のペアしか測定できない。
本研究では,複数の量子状態の重なり合いを測定する再帰量子回路を設計した。
.\phi_n\rangle$ と$o(n\log n)$ control-swap (cswap) ゲートと$o(\log n)$ と同時。
この回路により、入力量子状態 $|\langle\phi_i|\phi_j\rangle|^2$ の全てのペアの重複が得られる。
複数の量子状態の重なりを計測する既存のスキームと比較して、我々のスキームはより精度が高く、補助量子ビットの消費も少ない。
さらに,IBMの量子クラウドプラットフォーム上でシミュレーション実験を行い,提案方式の優位性を検証した。 Estimating the overlap between two states is an important task with several applications in quantum information. However, the typical swap test circuit can only measure a sole pair of quantum states at a time. In this study we designed a recursive quantum circuit to measure overlaps of multiple quantum states $|\phi_1...\phi_n\rangle$ concurrently with $O(n\log n)$ controlled-swap (CSWAP) gates and $O(\log n)$ ancillary qubits. This circuit enables us to get all pairwise overlaps among input quantum states $|\langle\phi_i|\phi_j\rangle|^2$. Compared with existing schemes for measuring the overlap of multiple quantum states, our scheme provides higher precision and less consumption of ancillary qubits. In addition, we performed simulation experiments on IBM quantum cloud platform to verify the superiority of the scheme. | 翻訳日:2023-02-13 02:11:00 公開日:2022-05-15 |
| # 量子ユーザと古典ユーザ間の絡み合いのない3次元セキュア半量子和 Three-party secure semiquantum summation without entanglement among quantum user and classical users ( http://arxiv.org/abs/2205.08319v1 ) ライセンス: Link先を確認 | Jia-Li, Hu, Tian-Yu Ye | (参考訳) 本稿では,1つの量子参加者と2つの古典的参加者からのプライベートビットのmodulo 2加算を計算可能な3つのセキュアな半量子和プロトコルを,初期量子リソースとして単一量子ビットのみを用いて構築する。
このプロトコルは、量子エンタングルメントスワップ、ユニタリ演算、あるいは事前共有された秘密鍵を必要としない。
このプロトコルは、量子参加者がz基底の測定、x基底測定、ベル基底測定を行う必要があるだけである。
既存の半量子和プロトコル (Int J Theor Phys, 60 (2021) 3478) と比較すると、このプロトコルは量子参加者の量子測定においてより良い性能を持つ。 In this paper, a three-party secure semiquantum summation protocol, which can calculate the modulo 2 addition of the private bits from one quantum participant and two classical participants, is constructed by only using single qubits as the initial quantum resource. This protocol needs none of quantum entanglement swapping, the unitary operation or a pre-shared private key. This protocol only requires the quantum participant to perform the Z basis measurements, the X basis measurements and the Bell basis measurements. Compared with the existing only semiquantum summation protocol (Int J Theor Phys, 60 (2021) 3478), this protocol has better performance in quantum measurements for quantum participant; moreover, it may also have higher qubit efficiency. | 翻訳日:2023-02-13 02:08:35 公開日:2022-05-15 |
| # 集団劣化雑音に対する二者安全な半量子和法 Two-party secure semiquantum summation against the collective-dephasing noise ( http://arxiv.org/abs/2205.08318v1 ) ライセンス: Link先を確認 | Tian-Yu Ye, Tian-Jie Xu, Mao-Jie Geng, Ying Chen | (参考訳) 本稿では,2人の古典的ユーザが,量子的半正統的第三者(tp)の助けを借りて,プライベートなバイナリシーケンスの和を実現できる,二者半量子和法を提案する。
semi-honest」という言葉は、TPが他と共謀することはできないが、あらゆる種類のoof攻撃を実装することができることを意味する。
このプロトコルは、移動粒子として論理量子ビットを使用し、集合的欠落ノイズの負の影響を克服し、互いにランダムな秘密鍵を前もって共有する必要がない。
セキュリティ分析の結果、このプロトコルは、Eveからの外部攻撃とTPからの参加者攻撃を効果的に防止できることがわかった。
さらに、TP は和の結果について知識を持っていない。 In this paper, we propose a two-party semiquantum summation protocol, where two classical users can accomplish the summation of their private binary sequences with the assistance of a quantum semi-honest third party (TP). The term 'semi-honest' implies that TP cannot conspire with others but is able to implement all kinds oof attacks. This protocol employs logical qubits as traveling particles to overcome the negative influence of collective-dephasing noise and needn't make any two parties pre-share a random secret key. The security analysis turns out that this protocol can effectively prevent the outside attacks from Eve and the participant attacks from TP. Moreover, TP has no knowledge about the summation results. | 翻訳日:2023-02-13 02:08:19 公開日:2022-05-15 |
| # リングオシレータ活性化pビットを用いた物理インスピレーションイジング計算 Physics-inspired Ising Computing with Ring Oscillator Activated p-bits ( http://arxiv.org/abs/2205.07402v1 ) ライセンス: Link先を確認 | Navid Anjum Aadit, Andrea Grimaldi, Giovanni Finocchio, and Kerem Y. Camsari | (参考訳) ムーアの法則の終わりに近づき、特殊な問題の解決に適したドメイン固有のハードウェアの開発が進められている。
これらの線に沿って、本質的に確率的構造ブロック (p-bits) を持つ確率論的計算は、特にハード最適化や統計的サンプリング問題において有望であることを示した。
p-bitが提案され、非同期アーキテクチャにおける小規模確率磁気トンネル接合(sMTJ)から同期アーキテクチャにおける大規模CMOSまで、様々なハードウェア基板で実証されている。
そこで我々は、フィールドプログラマブルゲートアレイ(FPGA)におけるsMTJの非同期ダイナミクスを密にエミュレートした、真に非同期で中規模なp-コンピュータ($\approx$800 p-bits)を設計、実装する。
キメラ格子上の植え付けられたイジングガラス問題のハードインスタンスを用いて,並列化(色的)正確なギブスサンプリングを行う理想的な同期設計に対して,非同期アーキテクチャの性能を評価する。
注意深い同期の欠如にもかかわらず、非同期設計は理想的かつ注意深く調整され、並列化された同期設計において、同等のアルゴリズムスケーリングで並列性を達成する。
以上の結果から,確率的磁気トンネル接合などナノスケールの建築ブロックで作られた数百万のフリーランニングpビットを用いた大規模p-コンピュータの実現が示唆された。 The nearing end of Moore's Law has been driving the development of domain-specific hardware tailored to solve a special set of problems. Along these lines, probabilistic computing with inherently stochastic building blocks (p-bits) have shown significant promise, particularly in the context of hard optimization and statistical sampling problems. p-bits have been proposed and demonstrated in different hardware substrates ranging from small-scale stochastic magnetic tunnel junctions (sMTJs) in asynchronous architectures to large-scale CMOS in synchronous architectures. Here, we design and implement a truly asynchronous and medium-scale p-computer (with $\approx$ 800 p-bits) that closely emulates the asynchronous dynamics of sMTJs in Field Programmable Gate Arrays (FPGAs). Using hard instances of the planted Ising glass problem on the Chimera lattice, we evaluate the performance of the asynchronous architecture against an ideal, synchronous design that performs parallelized (chromatic) exact Gibbs sampling. We find that despite the lack of any careful synchronization, the asynchronous design achieves parallelism with comparable algorithmic scaling in the ideal, carefully tuned and parallelized synchronous design. Our results highlight the promise of massively scaled p-computers with millions of free-running p-bits made out of nanoscale building blocks such as stochastic magnetic tunnel junctions. | 翻訳日:2023-02-13 02:07:58 公開日:2022-05-15 |
| # ヤンミルズ安定境界とプラケット場生成関数について On Yang-Mills Stability Bounds and Plaquette Field Generating Function ( http://arxiv.org/abs/2205.07376v1 ) ライセンス: Link先を確認 | Paulo A. Faria da Veiga and Michael O'Carroll | (参考訳) 我々は、グループ$U(N)$のYang-Mills (YM) QFTを考える。
有限格子正規化 $\lambda\subset a\mathbb z^d$, $d = 2,3,4$, $a\in (0,1]$ および $l$ (even) を側とする。
各結合はゲージ変数$U\in U(N)$を持つ。
Wilson 分割関数を使用し、作用はゲージ不変プラケット(最小正方形)の作用の和である: $a^{d-4}/g^2$, $g^2\in(0,g_0^2]$, $0<g_0^2<\infty$。
プラケット作用はその4変数の積を持ち、分割函数はボルツマン因子の積分であり、積は$U(N)$ハール測度である。
正式には、$a\searrow 0$のアクションは通常のYM連続アクションを与える。
自由かつ周期的な b.c. に対して、任意の ym モデルの正規化分割関数に対する熱力学的および安定性境界を示し、その定数は $l,a,g$ に依存しない。
後続の熱力学と自由エネルギーの紫外限界が存在する。
我々の境界を得るために、ワイル積分公式を使用し、下界を得るには、作用上の新しい二次大域上界が導出される。
ゲージ不変な物理およびスケールドプラーペット場を定義する。
周期的b.c.とマルチリフレクション法を用いて、$r-$scaled plaquette相関の生成関数を束縛する。
r$スケールされたフィールドの相関に対する正規化生成関数は、任意の$l,a,g$と外部フィールドの位置に対して絶対有界である。
場源上の合同解析から、相関は有界である。
境界は新しいもので、一致する点における物理的二括相関に対して$a^{-d}$を得る。
物理的微分の質量を持たないスカラー自由場2点相関の$a\searrow 0$特異点と比較すると、これは格子 QFT の文脈における紫外線漸近自由度の測定である。
私たちの手法は、より伝統的な方法に代わるものです。 We consider the Yang-Mills (YM) QFT with group $U(N)$. We take a finite lattice regularization $\Lambda\subset a\mathbb Z^d$, $d = 2,3,4$, with $a\in (0,1]$ and $L$ (even) sites on a side. Each bond has a gauge variable $U\in U(N)$. The Wilson partition function is used and the action is a sum of gauge-invariant plaquette (minimal square) actions times $a^{d-4}/g^2$, $g^2\in(0,g_0^2]$, $0<g_0^2<\infty$. A plaquette action has the product of its four variables and the partition function is the integral of the Boltzmann factor with a product of $U(N)$ Haar measures. Formally, when $a\searrow 0$ our action gives the usual YM continuum action. For free and periodic b.c., we show thermodynamic and stability bounds for a normalized partition function of any YM model defined as before, with bound constants independent of $L,a,g$. The subsequential thermodynamic and ultraviolet limit of the free energy exist. To get our bounds, the Weyl integration formula is used and, to obtain the lower bound, a new quadratic global upper bound on the action is derived. We define gauge-invariant physical and scaled plaquette fields. Using periodic b.c. and the multi-reflection method, we bound the generating function of $r-$scaled plaquette correlations. A normalized generating function for the correlations of $r$ scaled fields is absolutely bounded, for any $L,a,g$, and location of the external fields. From the joint analyticity on the field sources, correlations are bounded. The bounds are new and we get $a^{-d}$ for the physical two-plaquette correlation at coincident points. Comparing with the $a\searrow 0$ singularity of the physical derivative massless scalar free field two-point correlation, this is a measure of ultraviolet asymptotic freedom in the context of a lattice QFT. Our methods are an alternative and complete the more traditional ones. | 翻訳日:2023-02-13 02:07:37 公開日:2022-05-15 |
| # painlev\'e型非自律ハミルトン方程式の体系的構成
III。
量子化 Systematic construction of non-autonomous Hamiltonian equations of Painlev\'e-type. III. Quantization ( http://arxiv.org/abs/2205.07327v1 ) ライセンス: Link先を確認 | Maciej B{\l}aszak and Krzysztof Marciniak | (参考訳) この記事は、St\'ackel-type と Painlev\'e-type の力学系間の関係を探求する一連の記事の第3回目である。
本稿では,量子フロベニウス条件を満たす自己共役作用素に対して,最小量子化された準st-アッケルハミルトニアンの変形法を提案する。
古典的な場合と同様に、ここでは磁気系と非磁気系の両方を得る。
また、両クラスの量子系間でのマルチ時間依存型量子正準写像の存在を示す。 This is the third article in our series of articles exploring connections between dynamical systems of St\"ackel-type and of Painlev\'e-type. In this article we present a method of deforming of minimally quantized quasi-St\"ackel Hamiltonians, considered in Part I to self-adjoint operators satisfying the quantum Frobenius condition, thus guaranteeing that the corresponding Schr\"odinger equations posses common, multi-time solutions. As in the classical case, we obtain here both magnetic and non-magnetic families of systems. We also show the existence of multitime-dependent quantum canonical maps between both classes of quantum systems. | 翻訳日:2023-02-13 02:06:40 公開日:2022-05-15 |
| # 開量子系の連続測定のための確率的エントロピー生成 Stochastic entropy production for continuous measurements of an open quantum system ( http://arxiv.org/abs/2205.07288v1 ) ライセンス: Link先を確認 | D. Matos, L. Kantorovich, and I. J. Ford | (参考訳) 調和環境への時間依存結合のプロトコルの下での2レベルボソニック開量子システム全体の確率的エントロピー生成について検討する。
これらのプロセスは、観測可能なシステムの測定と固有状態の連続的な選択を意図しており、一方、システムは環境騒音の熱化にも影響している。
エントロピー生成は、システム変数とその確率密度関数の進化に依存し、システムおよび環境貢献を通して表現される。
開システムの連続的確率力学は、測定装置を模倣した確率的環境外乱の付加により解かれた、ノイズ平均の確率的リウヴィル・フォン・ノイマン方程式のマルコフ近似に基づいている。
時間独立結合の環境への熱的影響の下で、エントロピー生成の平均値は漸近的に消失し、平衡を示す。
対照的に、時間依存結合に応答するエントロピーの正の平均生成は、量子測定の不可逆性を特徴づけ、外部測定装置との接続と切断を表す2つのカップリングプロトコルに対するその生成の比較は、詳細なゆらぎ定理を満たす。 We investigate the total stochastic entropy production of a two-level bosonic open quantum system under protocols of time dependent coupling to a harmonic environment. These processes are intended to represent the measurement of a system observable, and consequent selection of an eigenstate, whilst the system is also subjected to thermalising environmental noise. The entropy production depends on the evolution of the system variables and their probability density function, and is expressed through system and environmental contributions. The continuous stochastic dynamics of the open system is based on the Markovian approximation to the exact, noise-averaged stochastic Liouville-von Neumann equation, unravelled through the addition of stochastic environmental disturbance mimicking a measuring device. Under the thermalising influence of time independent coupling to the environment, the mean rate of entropy production vanishes asymptotically, indicating equilibrium. In contrast, a positive mean production of entropy as the system responds to time dependent coupling characterises the irreversibility of quantum measurement, and a comparison of its production for two coupling protocols, representing connection to and disconnection from the external measuring device, satisfies a detailed fluctuation theorem. | 翻訳日:2023-02-13 02:06:29 公開日:2022-05-15 |
| # 三元系における量子資源の統一 Unification of quantum resources in tripartite systems ( http://arxiv.org/abs/2205.07265v1 ) ライセンス: Link先を確認 | Dong-Dong Dong, Geng-Biao Wei, Xue-Ke Song, Dong Wang, and Liu Ye | (参考訳) 量子資源理論(quantum resource theory、qrts)では、絡み合い、コヒーレンス、量子ステアリングなど、量子資源の様々な測度の間に本質的な関係の証拠が存在する。
しかし、異なる量子資源間の関係を構築することは、多部量子システムにおいて重要な課題である。
本稿では,三成分系における異なる量子資源間の相互変換を統一的に解釈する枠組みに着目する。
特に、一般化幾何測度と真に多部共起の正確な関係は三部交絡状態に対して導かれる。
そして、真に多重なコンカレンスとコンカレンスフィリングにより、一階のコヒーレンスと真の三部体の絡み合いのトレードオフ関係を得る。
さらに、任意の3ビット純状態に対する最大操舵不等式違反と共起充填とのトレードオフ関係を見出した。
さらに, 最大ステアリング不等式違反と1次コヒーレンスとの密接な関係について検討した。
結果は、これらの量子資源は本質的に関連しており、QRTの枠組みで互いに変換可能であることを示しているが、それらは依然として異なると見なされている。 In quantum resource theories (QRTs), there exists evidences of intrinsic connections among different measures of quantum resources, including entanglement, coherence, quantum steering, and so on. However, building the relations among different quantum resources is a vital yet challenging task in multipartite quantum systems. Here, we focus on a unified framework of interpreting the interconversions among different quantum resources in tripartite systems. In particular, an exact relation between the generalized geometric measure and the genuinely multipartite concurrence are derived for tripartite entanglement states. Then we obtain the tradeoff relation between the first-order coherence and the genuine tripartite entanglement by the genuinely multipartite concurrence and concurrence fill. Furthermore, the tradeoff relation between the maximum steering inequality violation and concurrence fill for an arbitrary three-qubit pure state is found. In addition, we investigate the close relation between the maximum steering inequality violation and the first-order coherence. The results show that these quantum resources are intrinsic related and can be converted to each other in the framework of QRTs, although they are still regarded to be different. | 翻訳日:2023-02-13 02:06:10 公開日:2022-05-15 |
| # 変調リークフリー連続可変量子鍵分布 Modulation leakage-free continuous-variable quantum key distribution ( http://arxiv.org/abs/2205.07245v1 ) ライセンス: Link先を確認 | Adnan A.E. Hajomer, Nitin Jain, Hossein Mani, Hou-Man Chin, Ulirk L. Andersen, Tobias Gehrin | (参考訳) 情報理論的なセキュリティを提供する方法で公開チャネルに暗号化キーを配布することは、セキュアな通信の聖杯である。
これは量子鍵分布(QKD)と呼ばれる量子力学の原理を活用することで実現できる。
特にコヒーレント状態に基づく連続可変(CV)QKDは、室温で動作可能な標準的な通信技術のみを必要とするため、セキュアな通信のための魅力的なスキームである。
しかし、状態準備の過程で最近発見されたサイドチャネルは、送信された量子状態に関する情報の漏洩につながり、盗聴者のためのセキュリティホールを開き、cvqkdシステムのセキュリティを侵害する。
本稿では,この変調リーク脆弱性のないCVQKDシステムを提案する。
本実装はベースバンド変調方式を基本とし, 状態形成および無線周波数ヘテロダイン検出のための位相・二次変調器と, 状態測定のためのディジタル信号処理を念入りに設計した。
実装の実践的側面を考察し、集団攻撃に対して安全な構成可能な秘密鍵の生成を実証する。
本研究は、実機器の実用的不完全さや性能劣化のない運用上の限界からcvqkdシステムを保護するための一歩である。 Distributing cryptographic keys over public channels in a way that can provide information-theoretic security is the holy grail for secure communication. This can be achieved by exploiting quantum mechanical principles in so-called quantum key distribution (QKD). Continuous-variable (CV) QKD based on coherent states, in particular, is an attractive scheme for secure communication since it requires only standard telecommunication technology that can operate at room temperature. However, a recently discovered side-channel created in the process of state preparation leads to a leakage of information about the transmitted quantum state, opening a security loophole for eavesdroppers to compromise the security of the CVQKD system. Here, we present a CVQKD system without this modulation leakage vulnerability. Our implementation is based on a baseband modulation approach, and uses an in-phase and quadrature (IQ) modulator for state preparation and radio frequency heterodyne detection together with carefully designed digital signal processing for state measurement. We consider practical aspects in the implementation and demonstrate the generation of a composable secret key secure against collective attacks. This work is a step towards protecting CVQKD systems against practical imperfections of physical devices and operational limitations without performance degradation. | 翻訳日:2023-02-13 02:05:50 公開日:2022-05-15 |
| # 多成分ハバードモデルの厳密な固有状態:su($n$)磁気的$\eta$ペアリング、弱いエルゴーディティの破れ、部分可積分性 Exact eigenstates of multicomponent Hubbard models: SU($N$) magnetic $\eta$ pairing, weak ergodicity breaking, and partial integrability ( http://arxiv.org/abs/2205.07235v1 ) ライセンス: Link先を確認 | Masaya Nakagawa, Hosho Katsura, Masahito Ueda | (参考訳) 我々は,$\eta$-pairing 機構を一般化することにより,任意の次元の多成分ハバードモデルの厳密な固有状態を構築する。
我々のモデルは特別なケースとして SU($N$) Hubbard モデルを含む。
従来の2成分の場合とは異なり、一般化された$\eta$-pairing機構は、外対角長距離秩序と磁気長距離秩序を特徴とする固有状態の構築を可能にする。
これらの状態は、多重成分の$\eta$ペアの同時凝縮によって断片化されたフェルミオン凝縮体を形成する。
SU(2)ハバードモデルの$\eta$-pairing状態は$\eta$-pairing対称性に基づいているが、$N\geq 3$を持つ$N$-component系における正確な固有状態は、ハミルトニアンの対称性ではなく、ヒルベルト部分空間で定義されるスペクトル生成代数から生じる。
この事実を利用して、一般化された$\eta$-pairing 固有状態が固有状態熱化仮説を満たさないことを示し、量子多体散乱状態として機能する。
この結果は、$N\geq 3$に対する$N$-component Hubbardモデルのエルゴディディティの弱分解を示している。
さらに、ハバード・ハミルトニアンが非相互作用モデルに効果的に還元する可積分な部分集合を構成する。
この部分積分性は、様々な多成分ハバードモデルがエルゴディディティを弱く破る原因となる。
本稿では,動力学の可積分部分を蒸留するために散逸を利用する方法を提案し,散逸に起因する非熱化機構を解明する。
この研究は、多成分ハバード模型の励起固有状態における非対角的長距離秩序とsu($n$)磁性の共存を確立し、多成分フェルミオンの新しい非平衡対状態の可能性を示す。
これらのモデルは、低温原子量子シミュレータで実験的にテストできる多成分フェルミオンの量子熱化のユニークな特徴を明らかにしている。 We construct exact eigenstates of multicomponent Hubbard models in arbitrary dimensions by generalizing the $\eta$-pairing mechanism. Our models include the SU($N$) Hubbard model as a special case. Unlike the conventional two-component case, the generalized $\eta$-pairing mechanism permits the construction of eigenstates that feature off-diagonal long-range order and magnetic long-range order. These states form fragmented fermionic condensates due to a simultaneous condensation of multicomponent $\eta$ pairs. While the $\eta$-pairing states in the SU(2) Hubbard model are based on the $\eta$-pairing symmetry, the exact eigenstates in the $N$-component system with $N\geq 3$ arise not from symmetry of the Hamiltonian but from a spectrum generating algebra defined in a Hilbert subspace. We exploit this fact to show that the generalized $\eta$-pairing eigenstates do not satisfy the eigenstate thermalization hypothesis and serve as quantum many-body scar states. This result indicates a weak breakdown of ergodicity in the $N$-component Hubbard models for $N\geq 3$. Furthermore, we show that these exact eigenstates constitute integrable subsectors in which the Hubbard Hamiltonian effectively reduces to a non-interacting model. This partial integrability causes various multicomponent Hubbard models to weakly break ergodicity. We propose a method of harnessing dissipation to distill the integrable part of the dynamics and elucidate a mechanism of non-thermalization caused by dissipation. This work establishes the coexistence of off-diagonal long-range order and SU($N$) magnetism in excited eigenstates of the multicomponent Hubbard models, which presents a possibility of novel out-of-equilibrium pairing states of multicomponent fermions. These models unveil a unique feature of quantum thermalization of multicomponent fermions, which can experimentally be tested with cold-atom quantum simulators. | 翻訳日:2023-02-13 02:05:30 公開日:2022-05-15 |
| # 株式市場予測のための新しいニュース分散表現(drnews) A Novel Distributed Representation of News (DRNews) for Stock Market Predictions ( http://arxiv.org/abs/2005.11706v2 ) ライセンス: Link先を確認 | Ye Ma, Lu Zong, Peiwan Wang | (参考訳) 本研究では,新しい分散ニュース表現モデル(drnews)を開発し,深層学習に基づく株式市場予測に適用した。
文脈情報と文書間知識を統合する利点により、DRNewsモデルは、属性付きニュースネットワークを通じて、ニュースイベント間のセマンティック情報と潜在的なリンクの両方を記述するニュースベクターを生成する。
2つの株式市場予測タスク、すなわち短期株式移動予測と株価危機早期警告は、注目に基づく長短短期記憶(LSTM)ネットワークの枠組みに実装されている。
DRNewsは,ニュース埋め込みモデルの5つのベースラインと比較して,両タスクの結果を大幅に向上させることが示唆された。
さらに、注目メカニズムは、短期の株価動向と株式市場の危機が日報から影響を受けていることを示唆し、前者は、市場に関する情報に対してより批判的な反応を示す一方で、後者は、銀行セクターや経済政策に対してより懸念を抱いている。 In this study, a novel Distributed Representation of News (DRNews) model is developed and applied in deep learning-based stock market predictions. With the merit of integrating contextual information and cross-documental knowledge, the DRNews model creates news vectors that describe both the semantic information and potential linkages among news events through an attributed news network. Two stock market prediction tasks, namely the short-term stock movement prediction and stock crises early warning, are implemented in the framework of the attention-based Long Short Term-Memory (LSTM) network. It is suggested that DRNews substantially enhances the results of both tasks comparing with five baselines of news embedding models. Further, the attention mechanism suggests that short-term stock trend and stock market crises both receive influences from daily news with the former demonstrates more critical responses on the information related to the stock market {\em per se}, whilst the latter draws more concerns on the banking sector and economic policies. | 翻訳日:2022-11-29 13:41:50 公開日:2022-05-15 |
| # セル振動モデルを用いた低照度画像強調 Low-light Image Enhancement Using the Cell Vibration Model ( http://arxiv.org/abs/2006.02271v2 ) ライセンス: Link先を確認 | Xiaozhou Lei, Zixiang Fei, Wenju Zhou, Huiyu Zhou and Minrui Fei | (参考訳) 低い光は、画像の品質を低下させ、視覚的なタスクの失敗を引き起こします。
既存の画像強調技術は、オーバーエンハンスメント、色歪み、時間消費の傾向があり、適応性はかなり限られている。
そこで本研究では,新しい低照度画像輝度向上手法を提案する。
まず、光子刺激によって誘起される膜振動の解析に基づいて、エネルギーモデルを示す。
次に, エネルギーモデルのユニークな数学的性質とガンマ補正モデルとを組み合わせることで, 新たに大域的な光度向上モデルを提案する。
さらに、画像光度とガンマ強度の特殊関係が発見された。
最後に,グローバル光度強調画像の局所的詳細を最適化するために,セグメンテーション,フィルタリング,融合を含む局所的融合戦略を提案する。
実験結果から,提案アルゴリズムは,色歪みを回避し,暗い領域のテクスチャを復元し,自然色を再現し,時間的コストを低減し,9つの最先端手法よりも優れていることがわかった。
イメージソースとコードはhttps://github.com/leixiaozhou/cdefmethodでリリースされる。 Low light very likely leads to the degradation of an image's quality and even causes visual task failures. Existing image enhancement technologies are prone to overenhancement, color distortion or time consumption, and their adaptability is fairly limited. Therefore, we propose a new single low-light image lightness enhancement method. First, an energy model is presented based on the analysis of membrane vibrations induced by photon stimulations. Then, based on the unique mathematical properties of the energy model and combined with the gamma correction model, a new global lightness enhancement model is proposed. Furthermore, a special relationship between image lightness and gamma intensity is found. Finally, a local fusion strategy, including segmentation, filtering and fusion, is proposed to optimize the local details of the global lightness enhancement images. Experimental results show that the proposed algorithm is superior to nine state-of-the-art methods in avoiding color distortion, restoring the textures of dark areas, reproducing natural colors and reducing time cost. The image source and code will be released at https://github.com/leixiaozhou/CDEFmethod. | 翻訳日:2022-11-25 18:30:29 公開日:2022-05-15 |
| # ディープニューラルネットワークを用いたナノフォトニック波長デマルチプレクサの逆設計 Inverse design of nano-photonic wavelength demultiplexer with a deep neural network approach ( http://arxiv.org/abs/2206.07114v1 ) ライセンス: Link先を確認 | Mengwei Yuan, Gang Yang, Shijie Song, Luping Zhou, Robert Minasian, and Xiaoke Yi | (参考訳) 本稿では,集積フォトニック回路の逆設計に対する包括的ソリューションとして,事前学習型ニューラルネットワーク(PTCN)を提案する。
PTCNモデルでは,初期訓練後の逆モデルと前方モデルの両方をジョイントトレーニングプロセスで利用することにより,トレーニングデータの量と品質に顕著な耐性を示す。
概念実証の証明として、波長多重化器の逆設計を用いてptcnモデルの有効性を検証する。
PTCNモデルによる予測の相関係数はトレーニングデータのサイズを17%まで下げた場合でも0.974以上である。
実験結果は, 予測値と良好な一致を示し, 超コンパクトフットプリントの波長デマルチプレクサ, 伝送損失2dBの高伝送効率, 反射率10dB, クロストーク7dBの低伝送特性を示した。 In this paper, we propose a pre-trained-combined neural network (PTCN) as a comprehensive solution to the inverse design of an integrated photonic circuit. By utilizing both the initially pre-trained inverse and forward model with a joint training process, our PTCN model shows remarkable tolerance to the quantity and quality of the training data. As a proof of concept demonstration, the inverse design of a wavelength demultiplexer is used to verify the effectiveness of the PTCN model. The correlation coefficient of the prediction by the presented PTCN model remains greater than 0.974 even when the size of training data is decreased to 17%. The experimental results show a good agreement with predictions, and demonstrate a wavelength demultiplexer with an ultra-compact footprint, a high transmission efficiency with a transmission loss of -2dB, a low reflection of -10dB, and low crosstalk around -7dB simultaneously. | 翻訳日:2022-06-19 23:28:32 公開日:2022-05-15 |
| # (参考訳) ヘビシド化のスペレンダーとミス The Splendors and Miseries of Heavisidisation ( http://arxiv.org/abs/2205.07377v1 ) ライセンス: CC0 1.0 | V.Dolotin and A.Morozov | (参考訳) 機械学習(ml)は、科学的問題、すなわち、よく定義された答えを持つ問題に適用できるが、この答えが特異な形式である${\cal g}: x\longrightarrow z$ with ${\cal g}(\vec x)$ が反復されたヘヴィシド関数の組み合わせとして表現される場合にのみ適用される。
現時点では、そのような表現が存在するとき、障害は何であり、それらが存在しないとき、既知の公式をこの形式に変換する方法は何であるかは明らかではない。
これは、建設的数学のアプローチを強力に強化したように思えるが、今回はすべての自然科学に焦点をあてるのみである。
この長い道の最初のステップを説明します。 Machine Learning (ML) is applicable to scientific problems, i.e. to those which have a well defined answer, only if this answer can be brought to a peculiar form ${\cal G}: X\longrightarrow Z$ with ${\cal G}(\vec x)$ expressed as a combination of iterated Heaviside functions. At present it is far from obvious, if and when such representations exist, what are the obstacles and, if they are absent, what are the ways to convert the known formulas into this form. This gives rise to a program of reformulation of ordinary science in such terms -- which sounds like a strong enhancement of the constructive mathematics approach, only this time it concerns all natural sciences. We describe the first steps on this long way. | 翻訳日:2022-06-12 23:47:33 公開日:2022-05-15 |
| # 共有カーネルモデルを学ぶ:共有カーネルemアルゴリズム Learning Shared Kernel Models: the Shared Kernel EM algorithm ( http://arxiv.org/abs/2205.09041v1 ) ライセンス: Link先を確認 | Graham W. Pulford | (参考訳) 予測最大化 (EM) は有限混合分布のパラメータを推定するための教師なし学習法である。
Baum の補助関数 $Q$ を通じて "hidden" あるいは "latent" 変数を導入することで、結合データを単純な因子の積として表現することができる。
変分下限 (vlb) の導入以降、em の妥当性は高まり、vlb は潜在変数 $z$ の pdf のエントロピーによってのみボームの補助関数と異なる。
まず,従来の2値指標ベクトルではなく,$K$値のスカラーデータアソシエーション仮説を用いて,複数の目標追跡分野からのデータアソシエーションのアイデアを用いて,標準EMアルゴリズムを再定義する。
この手法は、確率的ラジアル基底関数ネットワークに関連する共有カーネルモデルに対して、ほとんど知られていないがより一般的なタイプの教師付きEMアルゴリズムに適用される。
この領域で以前に発表された導出におけるいくつかの欠点に対処する。
特に、理論的に厳密な導出を与える。
(i) 完全なデータの可能性
(ii)ボームの補助機能(e-step)及び
(iii)gaussian shared kernel modelの場合の最大化(mステップ)。
その後のアルゴリズムは共有カーネルEM (SKEM) と呼ばれ、新しい7セグメントの桁表現を用いて数値認識問題に適用される。
異なる特徴量と異なるemアルゴリズム次元を用いるアルゴリズムの変種を平均精度と平均iouの観点から比較する。
連結データpdfを変数の重複しない部分集合上の下位pdfの積として分解する簡易分類器を提案する。
また, 推定混合成分の個数$K$の影響についても検討した。
データ生成およびSKEMアルゴリズムのための高レベルソースコードを提供する。 Expectation maximisation (EM) is an unsupervised learning method for estimating the parameters of a finite mixture distribution. It works by introducing "hidden" or "latent" variables via Baum's auxiliary function $Q$ that allow the joint data likelihood to be expressed as a product of simple factors. The relevance of EM has increased since the introduction of the variational lower bound (VLB): the VLB differs from Baum's auxiliary function only by the entropy of the PDF of the latent variables $Z$. We first present a rederivation of the standard EM algorithm using data association ideas from the field of multiple target tracking, using $K$-valued scalar data association hypotheses rather than the usual binary indicator vectors. The same method is then applied to a little known but much more general type of supervised EM algorithm for shared kernel models, related to probabilistic radial basis function networks. We address a number of shortcomings in the derivations that have been published previously in this area. In particular, we give theoretically rigorous derivations of (i) the complete data likelihood; (ii) Baum's auxiliary function (the E-step) and (iii) the maximisation (M-step) in the case of Gaussian shared kernel models. The subsequent algorithm, called shared kernel EM (SKEM), is then applied to a digit recognition problem using a novel 7-segment digit representation. Variants of the algorithm that use different numbers of features and different EM algorithm dimensions are compared in terms of mean accuracy and mean IoU. A simplified classifier is proposed that decomposes the joint data PDF as a product of lower order PDFs over non-overlapping subsets of variables. The effect of different numbers of assumed mixture components $K$ is also investigated. High-level source code for the data generation and SKEM algorithm is provided. | 翻訳日:2022-05-19 13:26:42 公開日:2022-05-15 |
| # (参考訳) 人間によるロボット表現の調整 Aligning Robot Representations with Humans ( http://arxiv.org/abs/2205.07882v1 ) ライセンス: CC BY 4.0 | Andreea Bobu, Andi Peng | (参考訳) ロボットがますます現実世界のシナリオに展開されるにつれ、重要な疑問は、ある環境で学んだ知識を別の環境に最もよく移す方法である。
中心となる課題は、多くの場合、トレーニング時にデプロイメント環境の完全な複雑さ、それゆえ必要なタスクを捉えることが(おそらくは不可能)困難であることです。
したがって、人間がロボットが一つの環境で実行したいと願うタスクの表現、あるいは抽象化は、ロボットが他の環境で学んだタスクの表現とミスアライメントされる可能性がある。
我々は、人間が世界でシステム成功の究極的な評価者になるので、ロボットに重要なタスクの側面を伝えるのに最も適していると仮定する。
私たちの重要な洞察は、人間の入力から効果的な学習には、まず良い中間表現を明示的に学習し、その表現を使って下流のタスクを解決する必要があります。
このアプローチをインタラクティブシステムの構築に利用し、高度な協調ロボットをより良く開発するための今後の方向性を提供する3つの分野を強調します。 As robots are increasingly deployed in real-world scenarios, a key question is how to best transfer knowledge learned in one environment to another, where shifting constraints and human preferences render adaptation challenging. A central challenge remains that often, it is difficult (perhaps even impossible) to capture the full complexity of the deployment environment, and therefore the desired tasks, at training time. Consequently, the representation, or abstraction, of the tasks the human hopes for the robot to perform in one environment may be misaligned with the representation of the tasks that the robot has learned in another. We postulate that because humans will be the ultimate evaluator of system success in the world, they are best suited to communicating the aspects of the tasks that matter to the robot. Our key insight is that effective learning from human input requires first explicitly learning good intermediate representations and then using those representations for solving downstream tasks. We highlight three areas where we can use this approach to build interactive systems and offer future directions of work to better create advanced collaborative robots. | 翻訳日:2022-05-19 02:26:35 公開日:2022-05-15 |
| # ケア意思決定ステップの個人ランキングに基づく患者主導型人工知能の開発 Developing patient-driven artificial intelligence based on personal rankings of care decision making steps ( http://arxiv.org/abs/2205.07881v1 ) ライセンス: Link先を確認 | Lauri Lahti (1) ((1) Department of Computer Science, Aalto University School of Science, Finland) | (参考訳) 我々は,我々の方法論やアンケートデータ,統計パターンと同一視できるケア意思決定手順の個人的ランキングに基づいて,人工知能による医療における意思決定プロセスを支援する新しい方法論を提案し,実験的に動機づける。
縦断的定量的横断的3段階研究は,「援助の必要性」,「健康の進歩」,「希望」,「思いやりの適応」,「健康状態」の437項目の自己評価を収集し,その回答期間について45の回答を得た。
2020年6月1日から2021年6月29日までのオンライン回答はフィンランドの患者や障害者団体、その他の健康関連組織や専門家、教育機関から募集された(n=1075)。
kruskal-wallis test, wilcoxon rank-sum test (すなわちmann-whitney u test), wilcoxon rank-sum pairwise test, welch's t test, one-way analysis of variance (anova) では,各質問の回答値に基づいて,各表現文における評価値とその継続期間の統計的に有意な差異を識別した。
評価順位の後の再順序付けの頻度は、様々な解釈タスクエンティティ、解釈次元、応答的グループ化に関して、以前に与えられた格付けとの依存関係を示した。
本手法,アンケートデータ及びその統計パターンは,医療状況における意思決定ステップの表現と,パーソナライズされたケアパスの知識エンティティの連鎖,集約,分岐といった自己評価表現を用いた分析を可能にする。
本研究は,患者のケアニーズに対処する人工知能ソリューションの構築を支援する。 We propose and experimentally motivate a new methodology to support decision-making processes in healthcare with artificial intelligence based on personal rankings of care decision making steps that can be identified with our methodology, questionnaire data and its statistical patterns. Our longitudinal quantitative cross-sectional three-stage study gathered self-ratings for 437 expression statements concerning healthcare situations on Likert scales in respect to "the need for help", "the advancement of health", "the hopefulness", "the indication of compassion" and "the health condition", and 45 answers about the person's demographics, health and wellbeing, also the duration of giving answers. Online respondents between 1 June 2020 and 29 June 2021 were recruited from Finnish patient and disabled people's organizations, other health-related organizations and professionals, and educational institutions (n=1075). With Kruskal-Wallis test, Wilcoxon rank-sum test (i.e., Mann-Whitney U test), Wilcoxon rank-sum pairwise test, Welch's t test and one-way analysis of variance (ANOVA) between groups test we identified statistically significant differences of ratings and their durations for each expression statement in respect to respondent groupings based on the answer values of each background question. Frequencies of the later reordering of rating rankings showed dependencies with ratings given earlier in respect to various interpretation task entities, interpretation dimensions and respondent groupings. Our methodology, questionnaire data and its statistical patterns enable analyzing with self-rated expression statements the representations of decision making steps in healthcare situations and their chaining, agglomeration and branching in knowledge entities of personalized care paths. Our results support building artificial intelligence solutions to address the patient's needs concerning care. | 翻訳日:2022-05-18 14:17:35 公開日:2022-05-15 |
| # 慣性センサを用いた車速学習 Learning Car Speed Using Inertial Sensors ( http://arxiv.org/abs/2205.07883v1 ) ライセンス: Link先を確認 | Maxim Freydin and Barak Or | (参考訳) ディープニューラルネットワーク(DNN)は、低コストの6軸慣性測定ユニット(IMU)から測定のストリームを入力として、都市部における自動車運転の速度を推定するために訓練される。
3時間のデータをイスラエルのアシュドッド市を走行し、グローバルナビゲーション衛星システム(GNSS)リアルタイムキネマティック(RTK)位置決め装置と同期IMUを備えた車で収集した。
高速50[Hz]で得られた位置測定値を用いて, 自動車走行速度の真理ラベルを算出した。
従来の入力履歴と速度,加速度,角速度の非線形関係を考慮した高速な速度推定を実現するために,長期記憶層を有するDNNアーキテクチャを提案する。
高速擬似測定を行うトレーニングモデルを評価するために,簡易な補足型デッドレコメンドローカライズ方式を定式化した。
トレーニングされたモデルは、GNSS位置更新を使わずに、4分間のドライブ中の位置精度を大幅に向上させる。 A deep neural network (DNN) is trained to estimate the speed of a car driving in an urban area using as input a stream of measurements from a low-cost six-axis inertial measurement unit (IMU). Three hours of data was collected by driving through the city of Ashdod, Israel in a car equipped with a global navigation satellite system (GNSS) real time kinematic (RTK) positioning device and a synchronized IMU. Ground truth labels for the car speed were calculated using the position measurements obtained at the high rate of 50 [Hz]. A DNN architecture with long short-term memory layers is proposed to enable high-frequency speed estimation that accounts for previous inputs history and the nonlinear relation between speed, acceleration, and angular velocity. A simplified aided dead reckoning localization scheme is formulated to assess the trained model which provides the speed pseudo-measurement. The trained model is shown to substantially improve the position accuracy during a 4 minutes drive without the use of GNSS position updates. | 翻訳日:2022-05-18 13:05:29 公開日:2022-05-15 |
| # 単位区間における確率変数のチャーンオフ境界に関する一考察 A Note on the Chernoff Bound for Random Variables in the Unit Interval ( http://arxiv.org/abs/2205.07880v1 ) ライセンス: Link先を確認 | Andrew Y. K. Foong, Wessel P. Bruinsma, David R. Burt | (参考訳) チャーノフ境界(英: chernoff bound)は、ベルヌーイ確率変数の標本平均の期待値に高い確率値を求めるためのよく知られたツールである。
この境界は統計学習理論において、二項値の損失関数の場合の保持データに対する経験的リスクの観点から、仮説の一般化リスクを上限にするためによく用いられる。
しかし、単位間隔で値を取る確率変数の場合へのこの境界の拡張はコミュニティではあまり知られていない。
ここでは、この拡張の利便性と将来の参照の証明を提供する。 The Chernoff bound is a well-known tool for obtaining a high probability bound on the expectation of a Bernoulli random variable in terms of its sample average. This bound is commonly used in statistical learning theory to upper bound the generalisation risk of a hypothesis in terms of its empirical risk on held-out data, for the case of a binary-valued loss function. However, the extension of this bound to the case of random variables taking values in the unit interval is less well known in the community. In this note we provide a proof of this extension for convenience and future reference. | 翻訳日:2022-05-18 13:02:13 公開日:2022-05-15 |
| # (参考訳) 偽ニュース検出のための微調整モデルの一般化可能性の検討 Exploring Generalizability of Fine-Tuned Models for Fake News Detection ( http://arxiv.org/abs/2205.07154v1 ) ライセンス: CC BY 4.0 | Abhijit Suprem, Calton Pu | (参考訳) 新型コロナウイルス(covid-19)のパンデミックは、cdcとwhoによる「情報デミック」と称される危険な誤情報の劇的かつ並行的な増加を引き起こした。
Covid-19インフォデミックに関連付けられた誤報は、コンセプトドリフトによる微調整モデルの性能低下につながる可能性がある。
モデルが十分に一般化してドリフトデータの循環的な側面を捉えると、デグレデーションは緩和される。
本稿では、9つの偽ニュースデータセットにまたがる事前学習および微調整された偽ニュース検出器の一般化可能性について検討する。
既存のモデルはトレーニングデータセットに過度に適合し、目に見えないデータではパフォーマンスが低いことがよく示されます。
しかし、トレーニングデータと重複する見えないデータのサブセットでは、モデルの方が精度が高い。
そこで本研究では,k-meansクラスタリングに基づく高速かつ効果的な手法であるkmeans-proxyを用いて,これらの重複部分集合を高速に同定する手法を提案する。
KMeans-Proxyは、データセット間で0.1-0.2 f1ポイントの偽ニュースデータセットの一般化性を改善する。
我々は、フェイクニュース問題に取り組むために、一般化可能性実験とKMeans-Proxyの両方を提示する。 The Covid-19 pandemic has caused a dramatic and parallel rise in dangerous misinformation, denoted an `infodemic' by the CDC and WHO. Misinformation tied to the Covid-19 infodemic changes continuously; this can lead to performance degradation of fine-tuned models due to concept drift. Degredation can be mitigated if models generalize well-enough to capture some cyclical aspects of drifted data. In this paper, we explore generalizability of pre-trained and fine-tuned fake news detectors across 9 fake news datasets. We show that existing models often overfit on their training dataset and have poor performance on unseen data. However, on some subsets of unseen data that overlap with training data, models have higher accuracy. Based on this observation, we also present KMeans-Proxy, a fast and effective method based on K-Means clustering for quickly identifying these overlapping subsets of unseen data. KMeans-Proxy improves generalizability on unseen fake news datasets by 0.1-0.2 f1-points across datasets. We present both our generalizability experiments as well as KMeans-Proxy to further research in tackling the fake news problem. | 翻訳日:2022-05-18 10:37:20 公開日:2022-05-15 |
| # (参考訳) オープンセット認識のための不確かさ校正の評価 Evaluating Uncertainty Calibration for Open-Set Recognition ( http://arxiv.org/abs/2205.07160v1 ) ライセンス: CC BY 4.0 | Zongyao Lyu, Nolan B. Gutierrez, William J. Beksi | (参考訳) 視覚的分類問題に対する予測精度が著しく向上したにもかかわらず、ディープニューラルネットワーク(DNN)は、アウト・オブ・ディストリビューション(OOD)データに過信的な確率を提供する。
しかし、安全で信頼性の高い自律ロボットには正確な不確実性推定が不可欠である。
本稿では,OODデータに対する従来のキャリブレーション手法とは大きく異なる方法で,オープンセット条件に対する一般的なキャリブレーション手法の評価を行う。
以上の結果から, クローズドセットDNNキャリブレーション手法は, オープンセット認識にはあまり効果がなく, この問題に対処する新たなDNNキャリブレーション手法の開発の必要性が示唆された。 Despite achieving enormous success in predictive accuracy for visual classification problems, deep neural networks (DNNs) suffer from providing overconfident probabilities on out-of-distribution (OOD) data. Yet, accurate uncertainty estimation is crucial for safe and reliable robot autonomy. In this paper, we evaluate popular calibration techniques for open-set conditions in a way that is distinctly different from the conventional evaluation of calibration methods on OOD data. Our results show that closed-set DNN calibration approaches are much less effective for open-set recognition, which highlights the need to develop new DNN calibration methods to address this problem. | 翻訳日:2022-05-18 10:26:41 公開日:2022-05-15 |
| # (参考訳) 深度からの塩分濃度の促進:深部無監督RGB-D塩分濃度検出 Promoting Saliency From Depth: Deep Unsupervised RGB-D Saliency Detection ( http://arxiv.org/abs/2205.07179v1 ) ライセンス: CC BY 4.0 | Wei Ji, Jingjing Li, Qi Bi, Chuan Guo, Jie Liu, Li Cheng | (参考訳) rgb-d salient object detection(rgb-d sod)への関心の高まりは、深層センサーの人気とディープラーニング技術の急速な進歩によって近年目撃されている。
残念ながら、既存のRGB-D SOD法は、通常、大量のトレーニング画像にピクセルレベルで完全に注釈付けする必要がある。
手間と時間のかかる手動アノテーションは、様々な実用的なシナリオにおいて真のボトルネックになっています。
一方、現在のRGB-D SOD法は手作りの特徴表現に大きく依存している。
そこで本研究では,手動の画素レベルのアノテーションを必要としない,教師なしRGB-Dサリエンシ検出手法を提案する。
トレーニングパイプラインの2つの重要な要素によって実現されます。
第一に、DSU(Deep-disentangled saliency update)フレームワークは、反復的なフォローアップ改善によって擬似ラベルを自動生成するように設計されており、より信頼できる監視信号を提供する。
第二に、より信頼性の高い擬似ラベルを適切に重み付けし、ノイズの多い擬似ラベルの問題に対処するための注意深いトレーニング戦略を導入する。
広範な実験により,提案手法の効率性と有効性を実証し,非教師なしのsodシナリオに挑戦した。
さらに,本手法は,完全に管理された状況でも適用可能である。
実験により,既存のRGB-D SODモデルにおいて,本手法の組み入れが顕著な性能向上をもたらすことが示された。 Growing interests in RGB-D salient object detection (RGB-D SOD) have been witnessed in recent years, owing partly to the popularity of depth sensors and the rapid progress of deep learning techniques. Unfortunately, existing RGB-D SOD methods typically demand large quantity of training images being thoroughly annotated at pixel-level. The laborious and time-consuming manual annotation has become a real bottleneck in various practical scenarios. On the other hand, current unsupervised RGB-D SOD methods still heavily rely on handcrafted feature representations. This inspires us to propose in this paper a deep unsupervised RGB-D saliency detection approach, which requires no manual pixel-level annotation during training. It is realized by two key ingredients in our training pipeline. First, a depth-disentangled saliency update (DSU) framework is designed to automatically produce pseudo-labels with iterative follow-up refinements, which provides more trustworthy supervision signals for training the saliency network. Second, an attentive training strategy is introduced to tackle the issue of noisy pseudo-labels, by properly re-weighting to highlight the more reliable pseudo-labels. Extensive experiments demonstrate the superior efficiency and effectiveness of our approach in tackling the challenging unsupervised RGB-D SOD scenarios. Moreover, our approach can also be adapted to work in fully-supervised situation. Empirical studies show the incorporation of our approach gives rise to notably performance improvement in existing supervised RGB-D SOD models. | 翻訳日:2022-05-18 10:17:24 公開日:2022-05-15 |
| # (参考訳) Nonconvex ${L_ {{1/2}}}} $-regularized Nonlocal Self-Similarity Denoiser を用いた圧縮センシングによるCT再構成 Nonconvex ${{L_ {{1/2}}}} $-Regularized Nonlocal Self-similarity Denoiser for Compressive Sensing based CT Reconstruction ( http://arxiv.org/abs/2205.07185v1 ) ライセンス: CC0 1.0 | Yunyi Li (1), Yiqiu Jiang (2), Hengmin Zhang (3), Jianxun Liu (1), Xiangling Ding (1) and Guan Gui (4) ((1) School of Computer Science and Engineering, Hunan University of Science and Technology (2) Department of Sports Medicine and Joint Surgery, Nanjing First Hospital, Nanjing Medical University (3) Department of Computer and Information Science, University of Macau (4) College of Telecommunications and Information Engineering, Nanjing University of Posts and Telecommunications) | (参考訳) 圧縮センシング(CS)を用いたCT画像再構成は,スパースビュー投影データによる放射線リスク低減を目的としている。
通常は不完全な投影から画質を満足させることが困難である。
最近、非凸の${l_ {{1/2}}}} $-normはスパースリカバリで有望な性能を達成しているが、その非凸性のためにイメージングのアプリケーションは不十分である。
本稿では,低ランク近似とグループスパース符号化(GSC)フレームワークを統合した,CT再構成問題に対する${L_ {{1/2}}}} $-regularized nonlocal self-similarity (NSS) denoiserを開発する。
具体的には,まずCT再構成問題を2つのサブプロブレムに分割し,さらに${L_ {{1/2}}}} $-regularized NSS denoiserを用いてCT画像の品質を向上させる。
GSCの観点で非凸問題を最適化する代わりに、2つの単純かつ本質的なスキームに基づいて、低ランクの最小化によりCT画像を再構成し、GSCベースのデノイザと低ランクの最小化との間に等価な関係を構築する。
さらに、重み付き特異値閾値演算(WSVT)演算子を用いて、結果の非凸${L_ {{1/2}}}} $最小化問題を最適化する。
これに続いて,提案手法は乗算器の向きの交互化法(ADMM)によりCT再構成問題と統合される。
臨床用ct画像の広範囲な実験結果から,本手法は一般的な手法よりも優れた性能を得ることができることが示された。 Compressive sensing (CS) based computed tomography (CT) image reconstruction aims at reducing the radiation risk through sparse-view projection data. It is usually challenging to achieve satisfying image quality from incomplete projections. Recently, the nonconvex ${{L_ {{1/2}}}} $-norm has achieved promising performance in sparse recovery, while the applications on imaging are unsatisfactory due to its nonconvexity. In this paper, we develop a ${{L_ {{1/2}}}} $-regularized nonlocal self-similarity (NSS) denoiser for CT reconstruction problem, which integrates low-rank approximation with group sparse coding (GSC) framework. Concretely, we first split the CT reconstruction problem into two subproblems, and then improve the CT image quality furtherly using our ${{L_ {{1/2}}}} $-regularized NSS denoiser. Instead of optimizing the nonconvex problem under the perspective of GSC, we particularly reconstruct CT image via low-rank minimization based on two simple yet essential schemes, which build the equivalent relationship between GSC based denoiser and low-rank minimization. Furtherly, the weighted singular value thresholding (WSVT) operator is utilized to optimize the resulting nonconvex ${{L_ {{1/2}}}} $ minimization problem. Following this, our proposed denoiser is integrated with the CT reconstruction problem by alternating direction method of multipliers (ADMM) framework. Extensive experimental results on typical clinical CT images have demonstrated that our approach can further achieve better performance than popular approaches. | 翻訳日:2022-05-18 09:36:57 公開日:2022-05-15 |
| # (参考訳) 距離グラフ上のドリフト拡散方程式に対するPINN法の比較 A comparison of PINN approaches for drift-diffusion equations on metric graphs ( http://arxiv.org/abs/2205.07195v1 ) ライセンス: CC BY 4.0 | Jan Blechschmidt, Jan-Frederik Pietschman, Tom-Christian Riemer, Martin Stoll, Max Winkler | (参考訳) 本稿では,距離グラフ,すなわち専用エッジ長グラフ,および関連する微分演算子である量子グラフに対する機械学習アプローチの比較に焦点をあてる。
この場合、微分方程式はドリフト拡散モデルである。
量子グラフの計算法は、ノード条件も含む微分作用素の注意深い離散化を必要とする(この場合、Kirchhoff-Neumann条件)。
従来の数値スキームはかなり成熟しているが、微分方程式が最適化問題の制約となると手動で調整しなければならない。
近年、物理学情報ニューラルネットワーク(PINN)は、様々な応用から偏微分方程式を解くための汎用的なツールとして登場した。
前方シミュレーションに使用する問題の定式化をわずかに変更するだけで、パラメータ識別や最適化の問題を解決する柔軟性を提供する。
距離グラフ上のドリフト拡散を解くためのいくつかのPINN手法を比較する。 In this paper we focus on comparing machine learning approaches for quantum graphs, which are metric graphs, i.e., graphs with dedicated edge lengths, and an associated differential operator. In our case the differential equation is a drift-diffusion model. Computational methods for quantum graphs require a careful discretization of the differential operator that also incorporates the node conditions, in our case Kirchhoff-Neumann conditions. Traditional numerical schemes are rather mature but have to be tailored manually when the differential equation becomes the constraint in an optimization problem. Recently, physics informed neural networks (PINNs) have emerged as a versatile tool for the solution of partial differential equations from a range of applications. They offer flexibility to solve parameter identification or optimization problems by only slightly changing the problem formulation used for the forward simulation. We compare several PINN approaches for solving the drift-diffusion on the metric graph. | 翻訳日:2022-05-18 09:19:31 公開日:2022-05-15 |
| # (参考訳) ディープフェイク検出のための実中心一貫性学習 Real-centric Consistency Learning for Deepfake Detection ( http://arxiv.org/abs/2205.07201v1 ) ライセンス: CC BY 4.0 | Ruiqi Zha, Zhichao Lian, Qianmu Li, Siqi Gu | (参考訳) これまでのディープフェイク検出研究のほとんどが、人間の知覚可能な方法でアーティファクトを記述・識別する努力を曲げており、クラス内における重要な不変性を無視し、インターネット干渉の強固さを過小評価するという、学習ネットワークのバイアスを残している。
本質的には、ディープフェイク検出問題は、表現空間における自然の顔と偽の顔とを識別的に表現することであり、クラス内コンポジションとクラス間一貫性を制約することで、クラス間表現を閉じてクラス間表現を分離できるかどうかを思い出させる。
そこで,両クラス間の不変表現を学習して深度検出問題に対処し,新しい実中心一貫性学習法を提案する。
サンプルレベルと機能レベルの両方から表現を制約します。
サンプルレベルでは、ディープフェイク合成の手順を考慮に入れ、潜在世代関連特徴をマイニングするための新しい偽造意味論に基づくペアリング戦略を提案する。
特徴レベルでは, 表現空間における自然顔の中心に基づいて, 潜在的限界的特徴をシミュレートする硬い正のマイニング・合成法を考案する。
また,我々が開発したコントラストマージン損失を監督することにより,負マージン特徴の識別を改善するためのハード・ネガティブ・フュージョン法が考案された。
提案手法の有効性とロバスト性は広範な実験により実証された。 Most of previous deepfake detection researches bent their efforts to describe and discriminate artifacts in human perceptible ways, which leave a bias in the learned networks of ignoring some critical invariance features intra-class and underperforming the robustness of internet interference. Essentially, the target of deepfake detection problem is to represent natural faces and fake faces at the representation space discriminatively, and it reminds us whether we could optimize the feature extraction procedure at the representation space through constraining intra-class consistence and inter-class inconsistence to bring the intra-class representations close and push the inter-class representations apart? Therefore, inspired by contrastive representation learning, we tackle the deepfake detection problem through learning the invariant representations of both classes and propose a novel real-centric consistency learning method. We constraint the representation from both the sample level and the feature level. At the sample level, we take the procedure of deepfake synthesis into consideration and propose a novel forgery semantical-based pairing strategy to mine latent generation-related features. At the feature level, based on the centers of natural faces at the representation space, we design a hard positive mining and synthesizing method to simulate the potential marginal features. Besides, a hard negative fusion method is designed to improve the discrimination of negative marginal features with the help of supervised contrastive margin loss we developed. The effectiveness and robustness of the proposed method has been demonstrated through extensive experiments. | 翻訳日:2022-05-18 08:54:45 公開日:2022-05-15 |
| # (参考訳) 視覚に基づく拡張神経検査のための総合的解法を目指して Towards a Comprehensive Solution for a Vision-based Digitized Neurological Examination ( http://arxiv.org/abs/2205.07209v1 ) ライセンス: CC BY 4.0 | Trung-Hieu Hoang, Mona Zehni, Huaijin Xu, George Heintz, Christopher Zallek, Minh N. Do | (参考訳) デジタルに記録され、定量化された神経学的検査情報を利用する能力は、神経科医の不足を補うため、医療システムがより良いケア、対人、遠隔医療を提供するのを助けるために重要である。
しかし、現在の神経学的デジタルバイオマーカーパイプラインは、特定の神経学的検査コンポーネントに絞られたり、特定の条件を評価するために適用される。
本稿では,スマートフォン/タブレットを用いた検査用バイオマーカー記録の選択肢と臨床応用を拡張すべく,dne(digitized neurological examination)と呼ばれる視覚ベースの検査・文書作成ソリューションを提案する。
我々のDNEソフトウェアを通じて、臨床現場の医療提供者や在宅の人々が、指先、指先、前腕ロール、立ち上がり、歩行など、指示された神経学的検査を行いながら、検査をビデオ撮影することができる。
DNEソフトウェアのモジュール設計は、追加のテストの統合をサポートします。
DNEは記録された検査から2D/3D人体ポーズを抽出し、運動学的および時空間的特徴を定量化する。
この特徴は臨床的に関連しており、臨床医が定量化された動きと経時的変化を文書化し観察することができる。
視聴や特徴視覚化を記録するWebサーバ及びユーザインターフェースが利用可能である。
正常運動と模擬運動を含む被験者21名を対象にDNEを評価した。
DNEの全体的な精度は、様々な機械学習モデルを用いて記録された動きを分類することによって示される。
以上の結果から,上肢テストは90%以上,立位および歩行テストは80%以上であった。 The ability to use digitally recorded and quantified neurological exam information is important to help healthcare systems deliver better care, in-person and via telehealth, as they compensate for a growing shortage of neurologists. Current neurological digital biomarker pipelines, however, are narrowed down to a specific neurological exam component or applied for assessing specific conditions. In this paper, we propose an accessible vision-based exam and documentation solution called Digitized Neurological Examination (DNE) to expand exam biomarker recording options and clinical applications using a smartphone/tablet. Through our DNE software, healthcare providers in clinical settings and people at home are enabled to video capture an examination while performing instructed neurological tests, including finger tapping, finger to finger, forearm roll, and stand-up and walk. Our modular design of the DNE software supports integrations of additional tests. The DNE extracts from the recorded examinations the 2D/3D human-body pose and quantifies kinematic and spatio-temporal features. The features are clinically relevant and allow clinicians to document and observe the quantified movements and the changes of these metrics over time. A web server and a user interface for recordings viewing and feature visualizations are available. DNE was evaluated on a collected dataset of 21 subjects containing normal and simulated-impaired movements. The overall accuracy of DNE is demonstrated by classifying the recorded movements using various machine learning models. Our tests show an accuracy beyond 90% for upper-limb tests and 80% for the stand-up and walk tests. | 翻訳日:2022-05-18 08:41:15 公開日:2022-05-15 |
| # (参考訳) FreeMatch: 半教師付き学習のための自己適応型閾値 FreeMatch: Self-adaptive Thresholding for Semi-supervised Learning ( http://arxiv.org/abs/2205.07246v1 ) ライセンス: CC BY 4.0 | Yidong Wang, Hao Chen, Qiang Heng, Wenxin Hou, Marios Savvides, Takahiro Shinozaki, Bhiksha Raj, Zhen Wu, Jindong Wang | (参考訳) 信頼に基づくしきい値を用いた擬似ラベリングと整合正則化アプローチは、半教師あり学習(SSL)において大きな進歩を遂げた。
本稿では,未ラベルデータ分布と望ましい信頼度との関係を理論的,実証的に分析する。
本研究は,学習効果をよく反映しない既定/固定しきい値あるいはアドホックしきい値調整スキームを必要とするため,従来の手法では適切なしきい値の定義に失敗する可能性を示し,特に複雑なラベルのないデータ分布では,性能が低下し収束が遅くなることを示した。
そこで我々は,モデルの学習状況に応じて,信頼度閾値を自己適応的に定義・調整するために,emph{FreeMatch}を提案する。
複雑なラベル付きデータ分散をより効果的に処理するために,モデルがトレーニング中に多様な予測を生成できるようにする自己適応型クラスフェアネス正規化手法を提案する。
実験の結果, ラベル付きデータが極めて稀な場合, FreeMatch の優位性が示唆された。
freematchは、最新のstate-of-the-artメソッドであるflexmatch on cifar-10 with 1 label per class、stl-10 with 4 labels per class、imagenet with 100k labelsに対して、 \textbf{5.78}\%, \textbf{13.59}\%, \textbf{1.28}\% のエラーレート低減を達成する。 Pseudo labeling and consistency regularization approaches with confidence-based thresholding have made great progress in semi-supervised learning (SSL). In this paper, we theoretically and empirically analyze the relationship between the unlabeled data distribution and the desirable confidence threshold. Our analysis shows that previous methods might fail to define favorable threshold since they either require a pre-defined / fixed threshold or an ad-hoc threshold adjusting scheme that does not reflect the learning effect well, resulting in inferior performance and slow convergence, especially for complicated unlabeled data distributions. We hence propose \emph{FreeMatch} to define and adjust the confidence threshold in a self-adaptive manner according to the model's learning status. To handle complicated unlabeled data distributions more effectively, we further propose a self-adaptive class fairness regularization method that encourages the model to produce diverse predictions during training. Extensive experimental results indicate the superiority of FreeMatch especially when the labeled data are extremely rare. FreeMatch achieves \textbf{5.78}\%, \textbf{13.59}\%, and \textbf{1.28}\% error rate reduction over the latest state-of-the-art method FlexMatch on CIFAR-10 with 1 label per class, STL-10 with 4 labels per class, and ImageNet with 100k labels respectively. | 翻訳日:2022-05-18 08:17:29 公開日:2022-05-15 |
| # (参考訳) 過度に適合するか、不適当か?
質問応答における領域一般化の検討 Not to Overfit or Underfit? A Study of Domain Generalization in Question Answering ( http://arxiv.org/abs/2205.07257v1 ) ライセンス: CC BY 4.0 | Md Arafat Sultan, Avirup Sil and Radu Florian | (参考訳) 機械学習モデルは、ソース(トレーニング)の分布を過度に適合させる傾向がある。
本稿では,マルチソースドメイン一般化(dg)は,実のところ,ソースドメインのアンダーフィッティングを緩和する問題である,という対照的な見解を検討する。
参照理解DGベンチマークの実験は、モデルが徐々にソースドメインを学習し、より大きなモデルからの知識の蒸留のような既知の手法を使って、ゼロショットのドメイン外精度がさらに高速に向上することを示している。
改良されたソースドメイン学習はまた、オーバーフィッティングを防ごうとする3つの人気のあるドメイン不変学習方法よりも優れた一般化を示す。 Machine learning models are prone to overfitting their source (training) distributions, which is commonly believed to be why they falter in novel target domains. Here we examine the contrasting view that multi-source domain generalization (DG) is in fact a problem of mitigating source domain underfitting: models not adequately learning the signal in their multi-domain training data. Experiments on a reading comprehension DG benchmark show that as a model gradually learns its source domains better -- using known methods such as knowledge distillation from a larger model -- its zero-shot out-of-domain accuracy improves at an even faster rate. Improved source domain learning also demonstrates superior generalization over three popular domain-invariant learning methods that aim to counter overfitting. | 翻訳日:2022-05-18 07:57:45 公開日:2022-05-15 |
| # (参考訳) ディープ残差ネットワークのバッチ正規化におけるガンマの正規化に関するガイドライン Guidelines for the Regularization of Gammas in Batch Normalization for Deep Residual Networks ( http://arxiv.org/abs/2205.07260v1 ) ライセンス: CC BY 4.0 | Bum Jun Kim, Hyeyeon Choi, Hyeonah Jang, Dong Gu Lee, Wonseok Jeong, Sang Woo Kim | (参考訳) ニューラルネットワークにおける重みのl2正規化は、標準的なトレーニングトリックとして広く使われている。
しかし、バッチ正規化の訓練可能なパラメータであるガンマのL2正規化は、未解決の謎であり、図書館や実践者によって異なる方法で適用されている。
本稿では,ガンマのL2正規化が有効かどうかを検討する。
この問題を探るため、我々は2つのアプローチを検討します。
1)残余ネットワークをアイデンティティマッピングのように振る舞わせる分散制御
2) 効果的な学習率の向上による安定的な最適化。
2つの分析を通じて,l2正則化を適用するための望ましい,望ましくないガンマを特定し,それらを管理するための4つのガイドラインを提案する。
いくつかの実験で、4つのカテゴリのガンマにl2正則化を適用することによって生じる性能の増大と低下を観察した。
提案するガイドラインは,残差ネットワークやトランスフォーマーを含む様々なタスクやアーキテクチャを通して検証された。 L2 regularization for weights in neural networks is widely used as a standard training trick. However, L2 regularization for gamma, a trainable parameter of batch normalization, remains an undiscussed mystery and is applied in different ways depending on the library and practitioner. In this paper, we study whether L2 regularization for gamma is valid. To explore this issue, we consider two approaches: 1) variance control to make the residual network behave like identity mapping and 2) stable optimization through the improvement of effective learning rate. Through two analyses, we specify the desirable and undesirable gamma to apply L2 regularization and propose four guidelines for managing them. In several experiments, we observed the increase and decrease in performance caused by applying L2 regularization to gamma of four categories, which is consistent with our four guidelines. Our proposed guidelines were validated through various tasks and architectures, including variants of residual networks and transformers. | 翻訳日:2022-05-18 07:44:21 公開日:2022-05-15 |
| # (参考訳) 可変機能化と大規模鋼枠設計最適化への応用 Variable Functioning and Its Application to Large Scale Steel Frame Design Optimization ( http://arxiv.org/abs/2205.07274v1 ) ライセンス: CC BY 4.0 | Amir H Gandomi, Kalyanmoy Deb, Ronald C Averill, Shahryar Rahnamayan, Mohammad Nabi Omidvar | (参考訳) 複雑な現実世界の問題を解決するために、ヒューリスティックスと概念に基づくアプローチを用いて、情報を問題に組み込むことができる。
本研究では,最適化変数を削減し,探索空間を狭めるために,可変関数fxという概念に基づくアプローチを導入する。
本手法では,変数の1つ以上の部分集合間の関係を最適化に先立って情報を用いて関数で定義するので,探索プロセスで変数を変更する代わりに,関数変数を最適化する。
問題構造解析技術と工学的知識を用いて、複雑な実世界の問題として鋼枠設計最適化プロセスを強化するために$Fx$法を用いる。
提案手法は粒子群最適化と微分進化アルゴリズムと組み合わされ、3つのケーススタディに用いられる。
カラム断面領域間の関係を考慮し,ケーススタディの最適化にアルゴリズムを適用した。
その結果,$fx$は種まきにのみ使用される場合であっても,フレーム構造の収束率と最終的な設計の両方を大幅に改善できることがわかった。 To solve complex real-world problems, heuristics and concept-based approaches can be used in order to incorporate information into the problem. In this study, a concept-based approach called variable functioning Fx is introduced to reduce the optimization variables and narrow down the search space. In this method, the relationships among one or more subset of variables are defined with functions using information prior to optimization; thus, instead of modifying the variables in the search process, the function variables are optimized. By using problem structure analysis technique and engineering expert knowledge, the $Fx$ method is used to enhance the steel frame design optimization process as a complex real-world problem. The proposed approach is coupled with particle swarm optimization and differential evolution algorithms and used for three case studies. The algorithms are applied to optimize the case studies by considering the relationships among column cross-section areas. The results show that $Fx$ can significantly improve both the convergence rate and the final design of a frame structure, even if it is only used for seeding. | 翻訳日:2022-05-18 07:32:11 公開日:2022-05-15 |
| # (参考訳) 分類器は制御可能なテキスト生成のエキスパートとして優れている Classifiers are Better Experts for Controllable Text Generation ( http://arxiv.org/abs/2205.07276v1 ) ライセンス: CC BY 4.0 | Askhat Sitdikov, Nikita Balagansky, Daniil Gavrilov, Alexander Markov | (参考訳) 本稿では,生成したロジットの重み付け,すなわちcaifサンプリングに基づく簡易なテキスト生成法を提案する。
任意のサードパーティのテキスト分類器を用いて、言語モデルのロジットの小さな部分を調整し、分類器の予測からテキスト生成を誘導する。
提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。
同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。 This paper proposes a simple method for controllable text generation based on weighting logits produced, namely CAIF sampling. Using an arbitrary third-party text classifier, we adjust a small part of a language model's logits and guide text generation towards or away from classifier prediction. We show that the proposed method significantly outperforms recent PPLM, GeDi, and DExperts on PPL and sentiment accuracy based on the external classifier of generated texts. A the same time, it is also easier to implement and tune, and has significantly fewer restrictions and requirements. | 翻訳日:2022-05-18 07:13:27 公開日:2022-05-15 |
| # (参考訳) 説明品質による公正性:ポストホック説明の質における格差の評価 Fairness via Explanation Quality: Evaluating Disparities in the Quality of Post hoc Explanations ( http://arxiv.org/abs/2205.07277v1 ) ライセンス: CC BY 4.0 | Jessica Dai, Sohini Upadhyay, Ulrich Aivodji, Stephen H. Bach, Himabindu Lakkaraju | (参考訳) ポストホックな説明手法が高リスク設定で複雑なモデルを説明するためにますます活用されているため、結果として得られる説明の質がマイノリティグループを含む様々な集団で一貫して高いことを保証することが重要である。
例えば、特定の性サブグループに属するインスタンス(例えば、女性)に関連付けられた説明が、他の性別に関連付けられた説明よりも正確ではないというような場合ではない。
しかし,最先端の解説手法によって得られた説明の質において,このような集団的差異が存在するかどうかを評価する研究はほとんどない。
本研究は,説明品質におけるグループに基づく差異を識別する研究を開始することで,上記のギャップを解消する。
この目的のために,まず,説明品質を構成する重要な特性と,特に異質性が問題となる要因について概説する。
そこで本研究では,これらの特性を活かし,最先端手法による説明の質のばらつきを定量的に測定できる評価フレームワークを提案する。
このフレームワークを用いて、説明品質におけるグループベースの格差が生じたかどうかを厳密な実証分析する。
以上の結果から,モデルが複雑で非線形である場合,このような相違が生じる可能性が示唆された。
また,特定のポストホックな説明手法(例えば,統合グラディエント,SHAP)が,上記の相違を示す可能性が高くなることも観察した。
我々の知る限りでは、この研究は、説明品質におけるグループベースの格差の問題を強調し、研究する最初のものである。
そうすることで、私たちの仕事は、説明手法が現実世界の意思決定に不公平をもたらす可能性のある、未解明の方法に光を当てています。 As post hoc explanation methods are increasingly being leveraged to explain complex models in high-stakes settings, it becomes critical to ensure that the quality of the resulting explanations is consistently high across various population subgroups including the minority groups. For instance, it should not be the case that explanations associated with instances belonging to a particular gender subgroup (e.g., female) are less accurate than those associated with other genders. However, there is little to no research that assesses if there exist such group-based disparities in the quality of the explanations output by state-of-the-art explanation methods. In this work, we address the aforementioned gaps by initiating the study of identifying group-based disparities in explanation quality. To this end, we first outline the key properties which constitute explanation quality and where disparities can be particularly problematic. We then leverage these properties to propose a novel evaluation framework which can quantitatively measure disparities in the quality of explanations output by state-of-the-art methods. Using this framework, we carry out a rigorous empirical analysis to understand if and when group-based disparities in explanation quality arise. Our results indicate that such disparities are more likely to occur when the models being explained are complex and highly non-linear. In addition, we also observe that certain post hoc explanation methods (e.g., Integrated Gradients, SHAP) are more likely to exhibit the aforementioned disparities. To the best of our knowledge, this work is the first to highlight and study the problem of group-based disparities in explanation quality. In doing so, our work sheds light on previously unexplored ways in which explanation methods may introduce unfairness in real world decision making. | 翻訳日:2022-05-18 07:06:56 公開日:2022-05-15 |
| # (参考訳) 符号一致ランダムバックプロパゲーションを近似する皮質微小回路の計算枠組み A Computational Framework of Cortical Microcircuits Approximates Sign-concordant Random Backpropagation ( http://arxiv.org/abs/2205.07292v1 ) ライセンス: CC0 1.0 | Yukun Yang, Peng Li | (参考訳) いくつかの最近の研究は、よく知られたバックプロパゲーション法(BP)の生物学的不確実性に対処しようと試みている。
フィードバックアライメントや直接フィードバックアライメントなどの有望な手法、サインコンコーダントフィードバックアライメントのようなバリエーションはBPの重量輸送問題に対処するが、他の未解決問題のためにその妥当性は議論の余地がある。
本研究では,神経科学で観察されるメカニズムのみに基づいてランダムなバックプロパゲーションを実現することができるかという疑問に答える。
本稿では,新しいマイクロ回路アーキテクチャとヘビアン学習規則の支持からなる仮説的枠組みを提案する。
3種類のセルと2種類のシナプス接続からなるマイクロサーキットアーキテクチャは、局所的なフィードバック接続を介してエラー信号を計算し、伝播し、グローバルに定義されたスパイキングエラー関数による多層スパイキングニューラルネットワークのトレーニングをサポートする。
我々は,局所的なコンパートメントで動作するヒュービアン則を用いてシナプス重みを更新し,生物学的に妥当な方法で教師付き学習を実現する。
最後に,提案手法を最適化の観点から解釈し,符号一致フィードバックアライメントと等価性を示す。
提案するフレームワークは、MNISTやCIFAR10などいくつかのデータセットでベンチマークされ、BP互換の有望な精度を示す。 Several recent studies attempt to address the biological implausibility of the well-known backpropagation (BP) method. While promising methods such as feedback alignment, direct feedback alignment, and their variants like sign-concordant feedback alignment tackle BP's weight transport problem, their validity remains controversial owing to a set of other unsolved issues. In this work, we answer the question of whether it is possible to realize random backpropagation solely based on mechanisms observed in neuroscience. We propose a hypothetical framework consisting of a new microcircuit architecture and its supporting Hebbian learning rules. Comprising three types of cells and two types of synaptic connectivity, the proposed microcircuit architecture computes and propagates error signals through local feedback connections and supports the training of multi-layered spiking neural networks with a globally defined spiking error function. We employ the Hebbian rule operating in local compartments to update synaptic weights and achieve supervised learning in a biologically plausible manner. Finally, we interpret the proposed framework from an optimization point of view and show its equivalence to sign-concordant feedback alignment. The proposed framework is benchmarked on several datasets including MNIST and CIFAR10, demonstrating promising BP-comparable accuracy. | 翻訳日:2022-05-18 06:42:51 公開日:2022-05-15 |
| # (参考訳) 後天確率問題:オンライン広告における神経予測の二重適応校正 Posterior Probability Matters: Doubly-Adaptive Calibration for Neural Predictions in Online Advertising ( http://arxiv.org/abs/2205.07295v1 ) ライセンス: CC BY 4.0 | Penghui Wei, Weimin Zhang, Ruijie Hou, Jinquan Liu, Shaoguo Liu, Liang Wang, Bo Zheng | (参考訳) ユーザの反応確率の予測は、広告のランキングと入札に不可欠である。
予測モデルが真の確率を反映した正確な確率予測を生み出すことを願っている。
キャリブレーション技術は、後確率に対するプロセス後モデル予測を目的としている。
特定のフィールド値に対してキャリブレーションを行うフィールドレベルのキャリブレーションは、きめ細かでより実用的です。
本稿では,二重適応アプローチ adacalib を提案する。
後続統計のガイダンスを用いてモデル予測を校正する等調関数群を学習し, フィールド値の校正に後方適応機構が適切であることを保証するために, フィールド適応機構を設計する。
実験では、AdaCalibが校正性能を大幅に改善することを確認した。
オンラインに展開されており、以前のアプローチを上回っている。 Predicting user response probabilities is vital for ad ranking and bidding. We hope that predictive models can produce accurate probabilistic predictions that reflect true likelihoods. Calibration techniques aims to post-process model predictions to posterior probabilities. Field-level calibration -- which performs calibration w.r.t. to a specific field value -- is fine-grained and more practical. In this paper we propose a doubly-adaptive approach AdaCalib. It learns an isotonic function family to calibrate model predictions with the guidance of posterior statistics, and field-adaptive mechanisms are designed to ensure that the posterior is appropriate for the field value to be calibrated. Experiments verify that AdaCalib achieves significant improvement on calibration performance. It has been deployed online and beats previous approach. | 翻訳日:2022-05-18 06:21:46 公開日:2022-05-15 |
| # (参考訳) 顔処理技術の規制:イリノイBIPAの適用における法律と技術との緊張関係 Regulating Facial Processing Technologies: Tensions Between Legal and Technical Considerations in the Application of Illinois BIPA ( http://arxiv.org/abs/2205.07299v1 ) ライセンス: CC BY 4.0 | Rui-Jie Yew and Alice Xiang | (参考訳) 顔処理技術(FPT)の開発と展開から生じたハームは、ますます議論の的になっている。
アメリカ合衆国のいくつかの州や都市は、法執行機関や政府による顔認識の使用を禁止しているが、FPTは、主に州の生体情報プライバシー法によって規制されている様々な状況で開発され、使用されている。
これらの法律のうち、2008年のイリノイ州生体認証情報プライバシー法(bipa)は相当量の訴訟を生み出した。
しかし、ほとんどのBIPA訴訟は、関連する技術的複雑さと法的定義の有意義な明確化がなされる以前に和解に達したため、この法律がFPTにどのように当てはまるかについては大きな不確実性がある。
しかし、これまでのFPT訴訟におけるBIPAの適用で明らかになったことは、技術コミュニティと法的コミュニティの分断の可能性を示している。
本稿では, BIPA の技術的運用が意図しないかつ望ましくない FPT 開発インセンティブを生み出す領域と, BIPA 訴訟が法的プライバシ価値を達成するための技術的方法のみの限界を明確化する領域について, BIPA の技術的運用が持つ緊張点について分析する。
これらの要因は
(i)fptの統治機構としての生体情報プライバシー法に関する推論
(ii)fptの潜在的被害の評価、及び
(iii)これらの損害の軽減のためのインセンティブの提供。
これらの考慮を照らすことで、裁判所や議員がFPTを規制するためのよりきめ細やかなアプローチを採り、開発者は現在の米国法界におけるプライバシーの価値をよりよく理解できるようにしたいと思っています。 Harms resulting from the development and deployment of facial processing technologies (FPT) have been met with increasing controversy. Several states and cities in the U.S. have banned the use of facial recognition by law enforcement and governments, but FPT are still being developed and used in a wide variety of contexts where they primarily are regulated by state biometric information privacy laws. Among these laws, the 2008 Illinois Biometric Information Privacy Act (BIPA) has generated a significant amount of litigation. Yet, with most BIPA lawsuits reaching settlements before there have been meaningful clarifications of relevant technical intricacies and legal definitions, there remains a great degree of uncertainty as to how exactly this law applies to FPT. What we have found through applications of BIPA in FPT litigation so far, however, points to potential disconnects between technical and legal communities. This paper analyzes what we know based on BIPA court proceedings and highlights these points of tension: areas where the technical operationalization of BIPA may create unintended and undesirable incentives for FPT development, as well as areas where BIPA litigation can bring to light the limitations of solely technical methods in achieving legal privacy values. These factors are relevant for (i) reasoning about biometric information privacy laws as a governing mechanism for FPT, (ii) assessing the potential harms of FPT, and (iii) providing incentives for the mitigation of these harms. By illuminating these considerations, we hope to empower courts and lawmakers to take a more nuanced approach to regulating FPT and developers to better understand privacy values in the current U.S. legal landscape. | 翻訳日:2022-05-18 06:11:17 公開日:2022-05-15 |
| # (参考訳) SIMD命令を用いた決定木評価の最適化 Optimization of Decision Tree Evaluation Using SIMD Instructions ( http://arxiv.org/abs/2205.07307v1 ) ライセンス: CC BY 4.0 | Alexey Mironov, Ilnur Khuziev | (参考訳) 決定フォレスト(decision tree ensemble)は、最も人気のある機械学習アルゴリズムの1つである。
学習からランクへのモデルによるドキュメントスコアリングなど,ビッグデータで大規模モデルを使用するには,これらのモデルを効率的に評価する必要がある。
本稿では,人気のCatBoostライブラリの祖先であるMatrixNetについて検討する。
どちらのライブラリもCPU上でのスコアリングにSSE命令セットを使用する。
本稿では,avx命令セットがモデルをより効率的に評価する機会について検討する。
2値化ステージ(ノード条件比較)では35%のスピードアップを達成し,木に対する20%のスピードアップをランキングモデルに適用した。 Decision forest (decision tree ensemble) is one of the most popular machine learning algorithms. To use large models on big data, like document scoring with learning-to-rank models, we need to evaluate these models efficiently. In this paper, we explore MatrixNet, the ancestor of the popular CatBoost library. Both libraries use the SSE instruction set for scoring on CPU. This paper investigates the opportunities given by the AVX instruction set to evaluate models more efficiently. We achieved 35% speedup on the binarization stage (nodes conditions comparison), and 20% speedup on the trees apply stage on the ranking model. | 翻訳日:2022-05-18 05:53:21 公開日:2022-05-15 |
| # (参考訳) ヘテロフィリーミーティングにおけるグラフニューラルネットワークのグローバルなホモフィリーの発見 Finding Global Homophily in Graph Neural Networks When Meeting Heterophily ( http://arxiv.org/abs/2205.07308v1 ) ライセンス: CC BY 4.0 | Xiang Li, Renyu Zhu, Yao Cheng, Caihua Shan, Siqiang Luo, Dongsheng Li, Weining Qian | (参考訳) ヘテロフィリーグラフ上のグラフニューラルネットワークについて検討する。
いくつかの既存手法は、複数のホップ近傍を持つノードの近傍を増幅し、ホモフィリーを持つノードを多く含む。
しかしながら、異なるノードに対してパーソナライズされた近傍サイズを設定することは大きな課題である。
さらに、近隣で除外された他のホモフレンドリーノードに対しては、情報集約は無視される。
これらの問題に対処するために,グラフのグローバルノードから情報を集約することでノードの埋め込みを生成するglognnとglognn++の2つのモデルを提案する。
各層において、両方のモデルが係数行列を学習し、どの近傍アグリゲーションが実行されるかに基づいてノード間の相関を捉える。
係数行列は符号付き値を許容し、閉形式解を持つ最適化問題から導出される。
さらに近隣の集約を加速し、線形時間複雑性を導出する。
係数行列と生成ノード埋め込み行列の両方が所望のグルーピング効果を持つことを証明し,モデルの有効性を理論的に説明する。
私たちは、幅広いドメイン、スケール、グラフヘテロフィアの15のベンチマークデータセットで、11の他の競合とモデルを比較するために、広範な実験を行いました。
実験の結果, 提案手法は優れた性能を得られ, 効率も高いことがわかった。 We investigate graph neural networks on graphs with heterophily. Some existing methods amplify a node's neighborhood with multi-hop neighbors to include more nodes with homophily. However, it is a significant challenge to set personalized neighborhood sizes for different nodes. Further, for other homophilous nodes excluded in the neighborhood, they are ignored for information aggregation. To address these problems, we propose two models GloGNN and GloGNN++, which generate a node's embedding by aggregating information from global nodes in the graph. In each layer, both models learn a coefficient matrix to capture the correlations between nodes, based on which neighborhood aggregation is performed. The coefficient matrix allows signed values and is derived from an optimization problem that has a closed-form solution. We further accelerate neighborhood aggregation and derive a linear time complexity. We theoretically explain the models' effectiveness by proving that both the coefficient matrix and the generated node embedding matrix have the desired grouping effect. We conduct extensive experiments to compare our models against 11 other competitors on 15 benchmark datasets in a wide range of domains, scales and graph heterophilies. Experimental results show that our methods achieve superior performance and are also very efficient. | 翻訳日:2022-05-18 05:52:18 公開日:2022-05-15 |
| # (参考訳) COIN: グラフ畳み込みネットワークのための通信対応インメモリ高速化 COIN: Communication-Aware In-Memory Acceleration for Graph Convolutional Networks ( http://arxiv.org/abs/2205.07311v1 ) ライセンス: CC BY 4.0 | Sumit K. Mandal, Gokul Krishnan, A. Alper Goksoy, Gopikrishnan Ravindran Nair, Yu Cao, Umit Y. Ogras | (参考訳) グラフ畳み込みネットワーク(GCN)は、多くのアプリケーション領域に固有のグラフ構造化データを処理する際、顕著な学習能力を示している。
gcnは各頂点に埋め込まれたニューラルネットワークの出力を複数のイテレーションで分散し、基礎となるグラフでキャプチャされた関係を利用する。
その結果、GCN固有のハードウェアアクセラレーターを呼んだ大量の計算と不規則な通信オーバーヘッドが発生する。
本稿では,GCNハードウェアアクセラレーションのための通信対応インメモリコンピューティングアーキテクチャ(COIN)を提案する。
COINは、カスタム計算要素(CE)とインメモリコンピューティングを使った計算の高速化に加えて、GCN操作におけるCE内通信とCE間通信の最小化を目標とし、性能とエネルギー効率を最適化する。
広く使われているデータセットによる実験的評価では、最先端のGCN加速器と比較してエネルギー消費が最大105倍改善している。 Graph convolutional networks (GCNs) have shown remarkable learning capabilities when processing graph-structured data found inherently in many application areas. GCNs distribute the outputs of neural networks embedded in each vertex over multiple iterations to take advantage of the relations captured by the underlying graphs. Consequently, they incur a significant amount of computation and irregular communication overheads, which call for GCN-specific hardware accelerators. To this end, this paper presents a communication-aware in-memory computing architecture (COIN) for GCN hardware acceleration. Besides accelerating the computation using custom compute elements (CE) and in-memory computing, COIN aims at minimizing the intra- and inter-CE communication in GCN operations to optimize the performance and energy efficiency. Experimental evaluations with widely used datasets show up to 105x improvement in energy consumption compared to state-of-the-art GCN accelerator. | 翻訳日:2022-05-18 05:30:43 公開日:2022-05-15 |
| # (参考訳) 混合データセットを用いたマルチカーネル学習における一般化境界 Generalization Bounds on Multi-Kernel Learning with Mixed Datasets ( http://arxiv.org/abs/2205.07313v1 ) ライセンス: CC BY 4.0 | Lan V. Truong | (参考訳) 本稿では,マルチカーネル学習問題に対する新しい一般化バウンダリを提案する。
センサネットワークでの応用により、各サンプルがマルコフ鎖の有限プールから取り出される際にデータセットが混合されていると仮定する。
学習カーネルのバウンダリは、ベースカーネルの数への依存性$O(\sqrt{\log m})とトレーニングサンプルの数への依存性$O(1/\sqrt{n})である。
しかし、サンプル間の依存性を補うためにいくつかの$o(1/\sqrt{n})$項が追加され、i.i.d.データセットを用いたマルチカーネル学習の既存の一般化境界と比較される。 This paper presents novel generalization bounds for the multi-kernel learning problem. Motivated by applications in sensor networks, we assume that the dataset is mixed where each sample is taken from a finite pool of Markov chains. Our bounds for learning kernels admit $O(\sqrt{\log m})$ dependency on the number of base kernels and $O(1/\sqrt{n})$ dependency on the number of training samples. However, some $O(1/\sqrt{n})$ terms are added to compensate for the dependency among samples compared with existing generalization bounds for multi-kernel learning with i.i.d. datasets. | 翻訳日:2022-05-18 05:05:02 公開日:2022-05-15 |
| # (参考訳) cMelGAN:メルスペクトログラムに基づく効率的な条件生成モデル cMelGAN: An Efficient Conditional Generative Model Based on Mel Spectrograms ( http://arxiv.org/abs/2205.07319v1 ) ライセンス: CC BY 4.0 | Tracy Qian, Jackson Kaunismaa, Tony Chung | (参考訳) 機械学習の分野における音楽の分析は、多くの制約のある非常に難しい問題である。
オーディオデータの性質は、非常に高い次元性と広範囲に変化する構造を持つため、モデル化が困難である主な理由の1つである。
音楽における機械学習には、音楽のムードの分類、条件付き音楽の生成、人気予測など多くの応用がある。
本研究の目的は,メルスペクトルに基づくジャンル条件付き音楽生成モデルを開発し,音符に基づく表現を用いた既存の生成音楽モデルと比較することでその性能を評価することである。
我々は最初,MelNet と呼ばれる自己回帰型 RNN ベースの生成モデルを実装した。
しかし,速度が遅く,忠実度が低いことから,MelGAN[4]と条件付きGANアーキテクチャ(cMelGAN)をベースとした,新しい完全畳み込みアーキテクチャの構築を決定した。 Analysing music in the field of machine learning is a very difficult problem with numerous constraints to consider. The nature of audio data, with its very high dimensionality and widely varying scales of structure, is one of the primary reasons why it is so difficult to model. There are many applications of machine learning in music, like the classifying the mood of a piece of music, conditional music generation, or popularity prediction. The goal for this project was to develop a genre-conditional generative model of music based on Mel spectrograms and evaluate its performance by comparing it to existing generative music models that use note-based representations. We initially implemented an autoregressive, RNN-based generative model called MelNet . However, due to its slow speed and low fidelity output, we decided to create a new, fully convolutional architecture that is based on the MelGAN [4] and conditional GAN architectures, called cMelGAN. | 翻訳日:2022-05-18 04:43:48 公開日:2022-05-15 |
| # (参考訳) 法律におけるデファシブル推論の自動化 Automating Defeasible Reasoning in Law ( http://arxiv.org/abs/2205.07335v1 ) ライセンス: CC BY-SA 4.0 | How Khang Lim, Avishkar Mahajan, Martin Strecker, Meng Weng Wong | (参考訳) この論文は、ルールベースのシステム、特に法的規範と契約に関して、矛盾する推論を研究する。
ルールがどのように相互作用し、どのようにオーバーライドされるかを指定するルール修飾子を識別する。
そして、これらの修飾子を排除する規則変換を定義し、最終的に規則を公式に変換する。
規則に関する推論については、smtソルバを証明エンジンとする古典論理と、解集合プログラミングソルバを持つ非単調論理の2つのアプローチを対比する。 The paper studies defeasible reasoning in rule-based systems, in particular about legal norms and contracts. We identify rule modifiers that specify how rules interact and how they can be overridden. We then define rule transformations that eliminate these modifiers, leading in the end to a translation of rules to formulas. For reasoning with and about rules, we contrast two approaches, one in a classical logic with SMT solvers as proof engines, one in a non-monotonic logic with Answer Set Programming solvers. | 翻訳日:2022-05-18 04:32:49 公開日:2022-05-15 |
| # (参考訳) ロバスト強化学習のためのポリシー勾配法 Policy Gradient Method For Robust Reinforcement Learning ( http://arxiv.org/abs/2205.07344v1 ) ライセンス: CC BY 4.0 | Yue Wang, Shaofeng Zou | (参考訳) 本稿では,モデルミスマッチ下での頑健な強化学習のための大域的最適性保証と複雑性解析を用いた最初のポリシー勾配法を開発した。
強固な強化学習は、シミュレーターと実環境のミスマッチをモデル化する強固なポリシーを学ぶことである。
まず,任意の可微分パラメトリック・ポリシークラスに適用可能なロバスト・ポリシー(サブ)グレードエントを開発した。
提案するロバストな政策勾配法は, 直接的政策パラメータ化下でグローバル最適漸近的に収束することを示す。
さらに、円滑なロバストなポリシー勾配法を開発し、$\epsilon$-globalOptimumを達成するために、複雑さは$\mathcal O(\epsilon^{-3})$であることを示す。
次に、我々の方法論を一般のモデルフリー設定に拡張し、異なるパラメトリックポリシークラスと値関数を持つロバストなアクタークリティカルな手法を設計する。
さらに,その漸近収束とサンプル複雑性を表環境下で特徴づける。
最後に,提案手法の堅牢性を示すシミュレーション結果を提供する。 This paper develops the first policy gradient method with global optimality guarantee and complexity analysis for robust reinforcement learning under model mismatch. Robust reinforcement learning is to learn a policy robust to model mismatch between simulator and real environment. We first develop the robust policy (sub-)gradient, which is applicable for any differentiable parametric policy class. We show that the proposed robust policy gradient method converges to the global optimum asymptotically under direct policy parameterization. We further develop a smoothed robust policy gradient method and show that to achieve an $\epsilon$-global optimum, the complexity is $\mathcal O(\epsilon^{-3})$. We then extend our methodology to the general model-free setting and design the robust actor-critic method with differentiable parametric policy class and value function. We further characterize its asymptotic convergence and sample complexity under the tabular setting. Finally, we provide simulation results to demonstrate the robustness of our methods. | 翻訳日:2022-05-18 04:01:29 公開日:2022-05-15 |
| # (参考訳) CNNの最適特徴を用いた食品検出のための新しいマルチカラムカーネル極端学習装置 Novel Multicolumn Kernel Extreme Learning Machine for Food Detection via Optimal Features from CNN ( http://arxiv.org/abs/2205.07348v1 ) ライセンス: CC BY 4.0 | Ghalib Ahmed, Tahir Chu, Kiong Loo | (参考訳) 自動食品検出は、ソーシャルメディアプラットフォーム上の食品画像の検出から、食事アセスメントアプリのユーザからの非食品写真のフィルタリングまで、幅広いアプリケーションによって注目されている。
新型コロナウイルス(COVID-19)のパンデミックでは、公共の場でカメラの食事活動を自動的に検知することで、食事禁止の実施が促進されている。
そこで我々は,食品画像の認識を高精度に行うために,効率的なニューラルネットワークから最適な特徴を抽出し,選択するためのハイブリッドフレームワークを提案する。
非線形分類器を用いて、線形に分離できない特徴ベクトルを高精度に判別する。
提案手法は,MobileNetV3の特徴を抽出し,Shapley Additive exPlanations(SHAP)値を用いて属性の最適サブセットを選択し,その非線形決定境界と優れた一般化能力によりカーネル極端学習マシン(KELM)を利用する。
しかしkelmは、多数の隠れノードを持つカーネル行列の複雑な計算のために、大規模なデータセットの「次元の曲線問題」に苦しむ。
我々は、k-d木アルゴリズムを利用してデータをNサブセットに分割し、データのサブセットごとにKELMを分離する新しいマルチカラムカーネル極端学習マシン(MCKELM)を提案する。
次に、KELM分類器を並列構造に組み込み、k-d木探索を用いてネットワーク全体の代わりに入力を分類することにより、テスト中の上位k近傍サブセットを選択する。
提案フレームワークを評価するために,9つの公開データセットを用いて大規模食品/非食品データセットを作成する。
実験の結果,大規模データセットのkelmにおける次元曲線の問題を解きながら,総合的な測度集合における本手法の優越性を示した。 Automatic food detection is an emerging topic of interest due to its wide array of applications ranging from detecting food images on social media platforms to filtering non-food photos from the users in dietary assessment apps. Recently, during the COVID-19 pandemic, it has facilitated enforcing an eating ban by automatically detecting eating activities from cameras in public places. Therefore, to tackle the challenge of recognizing food images with high accuracy, we proposed the idea of a hybrid framework for extracting and selecting optimal features from an efficient neural network. There on, a nonlinear classifier is employed to discriminate between linearly inseparable feature vectors with great precision. In line with this idea, our method extracts features from MobileNetV3, selects an optimal subset of attributes by using Shapley Additive exPlanations (SHAP) values, and exploits kernel extreme learning machine (KELM) due to its nonlinear decision boundary and good generalization ability. However, KELM suffers from the 'curse of dimensionality problem' for large datasets due to the complex computation of kernel matrix with large numbers of hidden nodes. We solved this problem by proposing a novel multicolumn kernel extreme learning machine (MCKELM) which exploited the k-d tree algorithm to divide data into N subsets and trains separate KELM on each subset of data. Then, the method incorporates KELM classifiers into parallel structures and selects the top k nearest subsets during testing by using the k-d tree search for classifying input instead of the whole network. For evaluating a proposed framework large food/non-food dataset is prepared using nine publically available datasets. Experimental results showed the superiority of our method on an integrated set of measures while solving the problem of 'curse of dimensionality in KELM for large datasets. | 翻訳日:2022-05-18 03:59:52 公開日:2022-05-15 |
| # (参考訳) 対話生成のための長期制御:方法と評価 Long-term Control for Dialogue Generation: Methods and Evaluation ( http://arxiv.org/abs/2205.07352v1 ) ライセンス: CC BY 4.0 | Ramya Ramakrishnan, Hashan Buddhika Narangodage, Mauro Schilman, Kilian Q. Weinberger, Ryan McDonald | (参考訳) 対話応答生成を制御する現在のアプローチは、主にスタイル、感情、トピックといったハイレベルな属性に焦点を当てている。
本研究では,よりきめ細かな制御を伴い,生成された応答に現れる制御語群を必要とする,制約付き長期対話生成に注目した。
この設定は、これらの制御語の生成を即時に考慮するだけでなく、(おそらく遠い)未来において、ある時点で単語の生成を促進する発話を生成するモデルを必要とする。
対話生成のための制約付き長期制御の問題を定義し,評価方法のギャップを特定し,長期制御をよりよく測定する新しい指標を提案する。
また,ロジット修正手法による長期制御生成の性能向上を図った検索拡張手法を提案する。
本研究では,3つのタスク指向対話データセットについて実験を行い,提案手法が現状の制約付き世代ベースラインよりも優れた対話制御性能を示すことを示す。 Current approaches for controlling dialogue response generation are primarily focused on high-level attributes like style, sentiment, or topic. In this work, we focus on constrained long-term dialogue generation, which involves more fine-grained control and requires a given set of control words to appear in generated responses. This setting requires a model to not only consider the generation of these control words in the immediate context, but also produce utterances that will encourage the generation of the words at some time in the (possibly distant) future. We define the problem of constrained long-term control for dialogue generation, identify gaps in current methods for evaluation, and propose new metrics that better measure long-term control. We also propose a retrieval-augmented method that improves performance of long-term controlled generation via logit modification techniques. We show through experiments on three task-oriented dialogue datasets that our metrics better assess dialogue control relative to current alternatives and that our method outperforms state-of-the-art constrained generation baselines. | 翻訳日:2022-05-18 03:58:23 公開日:2022-05-15 |
| # (参考訳) 深層学習による高分解能cmbレンズ再構成 High-Resolution CMB Lensing Reconstruction with Deep Learning ( http://arxiv.org/abs/2205.07368v1 ) ライセンス: CC BY 4.0 | Peikai Li and Ipek Ilayda Onur and Scott Dodelson and Shreyas Chaudhari | (参考訳) 次世代宇宙マイクロ波背景調査(cmb)は、視線に沿って質量の地図を作成することで、原始宇宙の貴重な情報を提供するものと期待されている。
これらのレンズ収束写像を作成する伝統的なツールには、二次推定子と最大確率に基づく反復推定子がある。
本稿では、GAN(Generative Adversarial Network)を用いてレンズ収束場を再構成する。
我々は、過去のディープラーニングアプローチであるsustains-unetと比較し、それぞれの長所と短所について論じる。
このプロセスでは、様々なパワースペクトルによって生成されたトレーニングセットを、メソッドのテストで使用されるものではなく、使用する。 Next-generation cosmic microwave background (CMB) surveys are expected to provide valuable information about the primordial universe by creating maps of the mass along the line of sight. Traditional tools for creating these lensing convergence maps include the quadratic estimator and the maximum likelihood based iterative estimator. Here, we apply a generative adversarial network (GAN) to reconstruct the lensing convergence field. We compare our results with a previous deep learning approach -- Residual-UNet -- and discuss the pros and cons of each. In the process, we use training sets generated by a variety of power spectra, rather than the one used in testing the methods. | 翻訳日:2022-05-18 03:41:53 公開日:2022-05-15 |
| # (参考訳) 進化ゲーム理論を用いたマルチエージェントシステムにおける創発行動の理解 Understanding Emergent Behaviours in Multi-Agent Systems with Evolutionary Game Theory ( http://arxiv.org/abs/2205.07369v1 ) ライセンス: CC BY 4.0 | The Anh Han | (参考訳) 複数の相互作用エージェントの動的多エージェントシステム(MAS)における集団行動の出現と進化のメカニズムは、共プレゼンスにおける多様な行動戦略とともに、進化ゲーム理論(EGT)を介して数学的研究が行われている。
彼らの体系的な研究はエージェント・ベース・モデリング・シミュレーション(ABM)技術にもとづき、様々な条件、パラメータ、代替仮想ゲームの下での前述のメカニズムの研究を可能にする。
本稿では,EGT と ABM の手法を用いて,本グループにおける主な研究方針と課題について要約する。
これらは、進化するMASにおけるエージェントの実装への認知的および感情的メカニズムの導入、複雑なネットワークにおける社会的行動を促進するためのコスト効率の高い干渉、AI安全開発生態学の規制とガバナンス、ランダムな進化的マルチプレイヤーゲームの均衡分析などである。
本報告は,機械による心のモデリングや動的MASにおける社会的行動の工学において重要な意味を持つ,EGTに基づく問題,結果,および展望に対する読者の感性を高めることを目的としており,集団行動の出現と安定性の理解に影響を及ぼす。
いずれの場合においても,mas研究における,グループによる視察や優先順位付けなどの重要なオープン問題について述べる。 The mechanisms of emergence and evolution of collective behaviours in dynamical Multi-Agent Systems (MAS) of multiple interacting agents, with diverse behavioral strategies in co-presence, have been undergoing mathematical study via Evolutionary Game Theory (EGT). Their systematic study also resorts to agent-based modelling and simulation (ABM) techniques, thus enabling the study of aforesaid mechanisms under a variety of conditions, parameters, and alternative virtual games. This paper summarises some main research directions and challenges tackled in our group, using methods from EGT and ABM. These range from the introduction of cognitive and emotional mechanisms into agents' implementation in an evolving MAS, to the cost-efficient interference for promoting prosocial behaviours in complex networks, to the regulation and governance of AI safety development ecology, and to the equilibrium analysis of random evolutionary multi-player games. This brief aims to sensitize the reader to EGT based issues, results and prospects, which are accruing in importance for the modeling of minds with machines and the engineering of prosocial behaviours in dynamical MAS, with impact on our understanding of the emergence and stability of collective behaviours. In all cases, important open problems in MAS research as viewed or prioritised by the group are described. | 翻訳日:2022-05-18 03:12:48 公開日:2022-05-15 |
| # (参考訳) SeqZero: 逐次プロンプトとゼロショットモデルによる合成セマンティックパーシング SeqZero: Few-shot Compositional Semantic Parsing with Sequential Prompts and Zero-shot Models ( http://arxiv.org/abs/2205.07381v1 ) ライセンス: CC BY 4.0 | Jingfeng Yang, Haoming Jiang, Qingyu Yin, Danqing Zhang, Bing Yin, Diyi Yang | (参考訳) 近年の研究では、事前訓練された言語モデル(LM)と標準発話を組み合わせることで、数発のセマンティックパーシングに有望な結果が示されている。
正統的な発話は、形式言語の構成構造のため、しばしば長く複雑である。
このような標準発話を生成するための学習には、高いパフォーマンスに到達するために大量のデータが必要である。
わずかなサンプルで微調整すると、lmsは事前訓練された知識を忘れ、偏りを過度に満たし、構成上は分散の一般化エラーに苦しむ。
これらの問題に対処するため,SeqZeroという新しい意味解析手法を提案する。
SeqZeroは問題を形式言語のサブクラスに対応するサブプロブレムの列に分解する。
この分解に基づいて、LMはサブクロースを予測するプロンプトを使用して短い答えしか生成しない。
したがって、seqzeroは、長いカノニカル発話を一度に発生させない。
さらに、seqzeroは、数ショットモデルだけでなく、オーバーフィットを緩和するためのゼロショットモデルも採用している。
特にseqzeroは、提案する制約付き再スケーリングを備えたアンサンブルを通じて、両方のモデルからメリットを導き出します。
SeqZeroは、GeoQueryとECommerceQueryでBARTベースのモデルのSOTAパフォーマンスを実現している。 Recent research showed promising results on combining pretrained language models (LMs) with canonical utterance for few-shot semantic parsing. The canonical utterance is often lengthy and complex due to the compositional structure of formal languages. Learning to generate such canonical utterance requires significant amount of data to reach high performance. Fine-tuning with only few-shot samples, the LMs can easily forget pretrained knowledge, overfit spurious biases, and suffer from compositionally out-of-distribution generalization errors. To tackle these issues, we propose a novel few-shot semantic parsing method -- SeqZero. SeqZero decomposes the problem into a sequence of sub-problems, which correspond to the sub-clauses of the formal language. Based on the decomposition, the LMs only need to generate short answers using prompts for predicting sub-clauses. Thus, SeqZero avoids generating a long canonical utterance at once. Moreover, SeqZero employs not only a few-shot model but also a zero-shot model to alleviate the overfitting. In particular, SeqZero brings out the merits from both models via ensemble equipped with our proposed constrained rescaling. SeqZero achieves SOTA performance of BART-based models on GeoQuery and EcommerceQuery, which are two few-shot datasets with compositional data split. | 翻訳日:2022-05-18 02:59:37 公開日:2022-05-15 |
| # (参考訳) インシシット複合カーネルによるニューラルネットワークへの事前知識の導入 Incorporating Prior Knowledge into Neural Networks through an Implicit Composite Kernel ( http://arxiv.org/abs/2205.07384v1 ) ライセンス: CC BY 4.0 | Ziyang Jiang, Tongshu Zheng, and David Carlson | (参考訳) ニューラルネットワーク(NN)学習を事前知識でガイドすることは困難である。
対照的に、空間的滑らかさや季節性といった多くの既知の性質は、ガウス過程 (GP) において適切なカーネルを選択することでモデル化が簡単である。
多くのディープラーニングアプリケーションは、そのような既知の特性をモデル化することで拡張することができる。
例えば、畳み込みニューラルネットワーク(CNN)は、強い季節的影響を受けるリモートセンシングで頻繁に使用される。
本稿では,ニューラルネットワークによって暗黙的に定義されたカーネルと,既知の特性(季節性など)をモデル化するために選択された第2のカーネル関数を組み合わせることで,ディープラーニングの強みとGPの明確なモデリング能力を組み合わせることを提案する。
次に,Nystrom近似に基づく深層ネットワークと効率的なマッピングを組み合わせることにより,結果GPを近似し,Implicit Composite Kernel (ICK) と呼ぶ。
ICKは柔軟で、多くのアプリケーションでニューラルネットワークに事前情報を含めることができる。
我々は,合成データと実世界のデータセットの両方において,優れた性能と柔軟性を示すことにより,フレームワークの強みを実証する。
コードは、https://anonymous.4open.science/r/ICK_NNGP-17C5/で入手できる。 It is challenging to guide neural network (NN) learning with prior knowledge. In contrast, many known properties, such as spatial smoothness or seasonality, are straightforward to model by choosing an appropriate kernel in a Gaussian process (GP). Many deep learning applications could be enhanced by modeling such known properties. For example, convolutional neural networks (CNNs) are frequently used in remote sensing, which is subject to strong seasonal effects. We propose to blend the strengths of deep learning and the clear modeling capabilities of GPs by using a composite kernel that combines a kernel implicitly defined by a neural network with a second kernel function chosen to model known properties (e.g., seasonality). Then, we approximate the resultant GP by combining a deep network and an efficient mapping based on the Nystrom approximation, which we call Implicit Composite Kernel (ICK). ICK is flexible and can be used to include prior information in neural networks in many applications. We demonstrate the strength of our framework by showing its superior performance and flexibility on both synthetic and real-world data sets. The code is available at: https://anonymous.4open.science/r/ICK_NNGP-17C5/. | 翻訳日:2022-05-18 02:43:16 公開日:2022-05-15 |
| # (参考訳) 先行処理と後処理パイプラインを用いた解答ペアの下流変圧器生成 Downstream Transformer Generation of Question-Answer Pairs with Preprocessing and Postprocessing Pipelines ( http://arxiv.org/abs/2205.07387v1 ) ライセンス: CC BY 4.0 | Cheng Zhang, Hao Zhang, Jie Wang | (参考訳) 本稿では,ある記事から質問応答対(QAP)を生成するための変圧器の下流タスクを行うTP3システムを提案する。
TP3はまず、QAPデータセット上で事前訓練されたトランスフォーマーを使用して、適切な回答を選択するために前処理パイプラインを使用し、関連する文と応答を細調整トランスフォーマーに供給し、候補QAPを生成する。
特に,事前学習したT5モデルをトランスフォーマーとし,SQuADデータセットを微調整データセットとし,TP3がガオカオENデータセットに高い品質のQAPを生成することを示す。 We present a system called TP3 to perform a downstream task of transformers on generating question-answer pairs (QAPs) from a given article. TP3 first finetunes pretrained transformers on QAP datasets, then uses a preprocessing pipeline to select appropriate answers, feeds the relevant sentences and the answer to the finetuned transformer to generate candidate QAPs, and finally uses a postprocessing pipeline to filter inadequate QAPs. In particular, using pretrained T5 models as transformers and the SQuAD dataset as the finetruning dataset, we show that TP3 generates satisfactory number of QAPs with high qualities on the Gaokao-EN dataset. | 翻訳日:2022-05-18 02:24:11 公開日:2022-05-15 |
| # (参考訳) SuperWarp: Unvariant Subvoxel-Precise RegistrationのためのU-Net上での学習とワープ SuperWarp: Supervised Learning and Warping on U-Net for Invariant Subvoxel-Precise Registration ( http://arxiv.org/abs/2205.07399v1 ) ライセンス: CC BY 4.0 | Sean I. Young, Ya\"el Balbastre, Adrian V. Dalca, William M. Wells, Juan Eugenio Iglesias, Bruce Fischl | (参考訳) 近年、学習に基づく画像登録手法は、ターゲットのワープによる直接監督から、代わりにセルフスーパービジョンに移行し、いくつかの登録ベンチマークで優れた結果が得られた。
これらのアプローチでは、固定画像と移動画像の強度差をペナライズする損失関数と、変形に対する適切な正則化器を用いる。
本稿では, 教師付き登録アプローチの相対的失敗は, 特徴抽出, 特徴マッチング, 変形推定を共同で行う正規のu-netの利用に一部責任を負うことができると主張する。
変形場が発達するにつれて,U-Netは,特徴抽出と変形予測の整合を解消し,その特性を階層的にワープすることができる。
この修正により、ターゲットワープを用いた直接監督は、セグメンテーションを必要とするセルフスーパービジョンアプローチよりも優れ始め、画像にセグメンテーションがない場合に新しい方向を示す。
本論文の知見は,監視画像登録技術に対する研究の関心を再燃させることを期待する。
私たちのコードはhttps://github.com/balbasty/superwarp.comから公開しています。 In recent years, learning-based image registration methods have gradually moved away from direct supervision with target warps to instead use self-supervision, with excellent results in several registration benchmarks. These approaches utilize a loss function that penalizes the intensity differences between the fixed and moving images, along with a suitable regularizer on the deformation. In this paper, we argue that the relative failure of supervised registration approaches can in part be blamed on the use of regular U-Nets, which are jointly tasked with feature extraction, feature matching, and estimation of deformation. We introduce one simple but crucial modification to the U-Net that disentangles feature extraction and matching from deformation prediction, allowing the U-Net to warp the features, across levels, as the deformation field is evolved. With this modification, direct supervision using target warps begins to outperform self-supervision approaches that require segmentations, presenting new directions for registration when images do not have segmentations. We hope that our findings in this preliminary workshop paper will re-ignite research interest in supervised image registration techniques. Our code is publicly available from https://github.com/balbasty/superwarp. | 翻訳日:2022-05-18 02:08:30 公開日:2022-05-15 |
| # AV-HuBERTを用いた唇型音声-映像話者埋め込みの学習 Learning Lip-Based Audio-Visual Speaker Embeddings with AV-HuBERT ( http://arxiv.org/abs/2205.07180v1 ) ライセンス: Link先を確認 | Bowen Shi and Abdelrahman Mohamed and Wei-Ning Hsu | (参考訳) 本稿では,話者の発話領域を示す映像ストリームを入力として使用する音声-視覚話者表現学習のための自己教師付き事前学習について検討する。
本研究は,最近開発された汎用音声視覚言語事前学習フレームワークであるAV-HuBERT (Audio-Visual Hidden Unit BERT) アプローチに焦点を当てた。
プレトレーニングと視覚モダリティーの有効性について広範な実験を行った。
実験結果から,AV-HuBERTは話者関連下流タスクを適切に一般化し,約10倍のラベル効率を向上させることが示唆された。
また, 視覚情報の導入は, 口唇部のみであっても, 性能と騒音の堅牢性を大幅に向上させ, クリーン条件ではEERを38%, ノイズ条件では75%低減させることを示した。
私たちのコードとモデルは公開されます。 This paper investigates self-supervised pre-training for audio-visual speaker representation learning where a visual stream showing the speaker's mouth area is used alongside speech as inputs. Our study focuses on the Audio-Visual Hidden Unit BERT (AV-HuBERT) approach, a recently developed general-purpose audio-visual speech pre-training framework. We conducted extensive experiments probing the effectiveness of pre-training and visual modality. Experimental results suggest that AV-HuBERT generalizes decently to speaker related downstream tasks, improving label efficiency by roughly ten fold for both audio-only and audio-visual speaker verification. We also show that incorporating visual information, even just the lip area, greatly improves the performance and noise robustness, reducing EER by 38% in the clean condition and 75% in noisy conditions. Our code and models will be publicly available. | 翻訳日:2022-05-17 18:02:28 公開日:2022-05-15 |
| # 音楽カバー画像のための条件ベクトルグラフィックス生成 Conditional Vector Graphics Generation for Music Cover Images ( http://arxiv.org/abs/2205.07301v1 ) ライセンス: Link先を確認 | Valeria Efimova, Ivan Jarsky, Ilya Bizyaev and Andrey Filchenkov | (参考訳) GAN(Generative Adversarial Networks)は、コンピュータ画像合成の領域を急速に成長させてきた。
既存のほとんどの画像合成アルゴリズムは画像をピクセル行列とみなしているため、高分解能画像合成は複雑であり、ベクター画像がよい。
しかし、それらは高度に洗練されたパラメトリック空間に属しており、これはGANによるベクトルグラフィックスの合成の課題を解決するための制約である。
本稿では,この制限を劇的に緩和し,ベクトル画像合成を利用できる特定のアプリケーション領域について考察する。
音楽のカバーイメージは、インターネットのストリーミングサービスや印刷規格の要件を満たすべきである。
既存の音楽カバー画像生成サービスは、トラック自体を解析しないが、ジャンルタグのみを考慮するサービスもある。
楽曲を反映し,単純な幾何学的対象からなるベクトル画像として音楽被覆を生成するために,CoverGANと呼ばれるGANアルゴリズムを提案する。
その結果,AttnGAN や DALL-E のテキスト・ツー・イメージ生成をタイトルや歌詞で比較した場合と比較して,画像の評価は音楽との対応に基づく。
さらに、CoverGANが検出したパターンの意義を、生成されたカバー画像と音楽トラックとの対応性の観点から評価した。
聴取者は提案アルゴリズムが生成した楽曲のカバーを、非常に満足し、トラックに対応するものとして評価する。
music cover images generation code and demoはhttps://github.com/izhanvarsky/covergan.comから入手できる。 Generative Adversarial Networks (GAN) have motivated a rapid growth of the domain of computer image synthesis. As almost all the existing image synthesis algorithms consider an image as a pixel matrix, the high-resolution image synthesis is complicated.A good alternative can be vector images. However, they belong to the highly sophisticated parametric space, which is a restriction for solving the task of synthesizing vector graphics by GANs. In this paper, we consider a specific application domain that softens this restriction dramatically allowing the usage of vector image synthesis. Music cover images should meet the requirements of Internet streaming services and printing standards, which imply high resolution of graphic materials without any additional requirements on the content of such images. Existing music cover image generation services do not analyze tracks themselves; however, some services mostly consider only genre tags. To generate music covers as vector images that reflect the music and consist of simple geometric objects, we suggest a GAN-based algorithm called CoverGAN. The assessment of resulting images is based on their correspondence to the music compared with AttnGAN and DALL-E text-to-image generation according to title or lyrics. Moreover, the significance of the patterns found by CoverGAN has been evaluated in terms of the correspondence of the generated cover images to the musical tracks. Listeners evaluate the music covers generated by the proposed algorithm as quite satisfactory and corresponding to the tracks. Music cover images generation code and demo are available at https://github.com/IzhanVarsky/CoverGAN. | 翻訳日:2022-05-17 18:02:12 公開日:2022-05-15 |
| # 継続的自己監督学習による新しい音科授業の学習表現 Learning Representations for New Sound Classes With Continual Self-Supervised Learning ( http://arxiv.org/abs/2205.07390v1 ) ライセンス: Link先を確認 | Zhepei Wang, Cem Subakan, Xilin Jiang, Junkai Wu, Efthymios Tzinis, Mirco Ravanelli, Paris Smaragdis | (参考訳) 本稿では,新しい音響クラスの表現を継続的に学習するための自己教師あり学習フレームワークを提案する。
提案するシステムは,ラベルを使わずに類似性に基づく学習目標で学習される,継続的に学習されるニューラルネットワークエンコーダに依存している。
提案手法で学習した表現はより一般化し,完全な教師付きアプローチよりも壊滅的忘れやすいことを示した。
この手法は過去のデータやモデルを保存せず、蒸留法よりも計算効率が高い。
システムの性能を正確に評価するために,既存のプロトコルに加えて,少量のラベル付きデータのみを用いて実用的なユースケースをシミュレートする2つの現実的な評価プロトコルを提案する。 In this paper, we present a self-supervised learning framework for continually learning representations for new sound classes. The proposed system relies on a continually trained neural encoder that is trained with similarity-based learning objectives without using labels. We show that representations learned with the proposed method generalize better and are less susceptible to catastrophic forgetting than fully-supervised approaches. Remarkably, our technique does not store past data or models and is more computationally efficient than distillation-based methods. To accurately assess the system performance, in addition to using existing protocols, we propose two realistic evaluation protocols that use only a small amount of labeled data to simulate practical use cases. | 翻訳日:2022-05-17 18:00:34 公開日:2022-05-15 |
| # GenerSpeech: 一般化可能な外部ドメインテキスト音声合成のためのスタイル転送 GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech Synthesis ( http://arxiv.org/abs/2205.07211v1 ) ライセンス: Link先を確認 | Rongjie Huang, Yi Ren, Jinglin Liu, Chenye Cui, Zhou Zhao | (参考訳) オフ・オブ・ドメイン(OOD)音声合成のためのスタイル転送は、音響的参照から派生した未知のスタイル(話者アイデンティティ、感情、韻律など)の音声サンプルを生成することを目的としており、以下の課題に直面している。
1)表現的音声における高ダイナミックなスタイルの特徴は、モデル化と伝達が困難である。
2) TTSモデルは、ソースデータと異なる多様なOOD条件を扱うのに十分な堅牢性を持つべきである。
本稿では,OODカスタム音声の高忠実度ゼロショット化に向けたテキスト音声合成モデルGenerSpeechを提案する。
GenerSpeechは2つのコンポーネントを導入することで、音声のバリエーションをスタイルに依存しない部分とスタイル固有の部分に分解する。
1)グローバルな話者や感情特性,局所的(発話,音素,単語レベルの)きめ細かな韻律表現を含む多段階のスタイル条件を効率的にモデル化する多段階型適応器。
2)Mix-Style Layer Normalizationを用いた一般化可能なコンテンツ適応器により,言語コンテンツ表現のスタイル情報を排除し,モデル一般化を改善する。
ゼロショット方式の転送について評価したところ,GenerSpeechは音質やスタイルの類似性の観点から,最先端のモデルを上回っていることがわかった。
適応型転送への拡張研究は、GenerSpeechが数ショットのデータセットで堅牢に動作することを示す。
オーディオサンプルは \url{https://GenerSpeech.github.io/} で入手できる。 Style transfer for out-of-domain (OOD) speech synthesis aims to generate speech samples with unseen style (e.g., speaker identity, emotion, and prosody) derived from an acoustic reference, while facing the following challenges: 1) The highly dynamic style features in expressive voice are difficult to model and transfer; and 2) the TTS models should be robust enough to handle diverse OOD conditions that differ from the source data. This paper proposes GenerSpeech, a text-to-speech model towards high-fidelity zero-shot style transfer of OOD custom voice. GenerSpeech decomposes the speech variation into the style-agnostic and style-specific parts by introducing two components: 1) a multi-level style adaptor to efficiently model a large range of style conditions, including global speaker and emotion characteristics, and the local (utterance, phoneme, and word-level) fine-grained prosodic representations; and 2) a generalizable content adaptor with Mix-Style Layer Normalization to eliminate style information in the linguistic content representation and thus improve model generalization. Our evaluations on zero-shot style transfer demonstrate that GenerSpeech surpasses the state-of-the-art models in terms of audio quality and style similarity. The extension studies to adaptive style transfer further show that GenerSpeech performs robustly in the few-shot data setting. Audio samples are available at \url{https://GenerSpeech.github.io/} | 翻訳日:2022-05-17 17:41:05 公開日:2022-05-15 |
| # トラックはトランプのことではなく、画像分析で人間のミスを診断する Trucks Don't Mean Trump: Diagnosing Human Error in Image Analysis ( http://arxiv.org/abs/2205.07333v1 ) ライセンス: Link先を確認 | J.D. Zamfirescu-Pereira, Jerry Chen, Emily Wen, Allison Koenecke, Nikhil Garg, Emma Pierson | (参考訳) アルゴリズムは、人間のバイアスとエラーを検出して解剖する強力なツールを提供する。
そこで本研究では,特定のタスクにおいて人間がどのようにerrを行うかを分析するための機械学習手法である画像解釈を開発した。
私たちは、2020年の米大統領選でドナルド・トランプ候補かジョー・バイデン候補に投票した地区の人的予測を、Googleストリートビューの画像に基づいて16,135,392件のデータセットを活用しています。
本研究では,各画像に対するベイズ最適決定の機械学習推定器を訓練することにより,人間の誤りをバイアス,分散,ノイズ項に分解し,さらに人体を軌道に乗せる特定の特徴(ピックアップトラックなど)を識別できることを示す。
提案手法は,人間のループ内意思決定が正確かつ公平であり,ブラックボックスのアルゴリズムシステムにも適用可能である。 Algorithms provide powerful tools for detecting and dissecting human bias and error. Here, we develop machine learning methods to to analyze how humans err in a particular high-stakes task: image interpretation. We leverage a unique dataset of 16,135,392 human predictions of whether a neighborhood voted for Donald Trump or Joe Biden in the 2020 US election, based on a Google Street View image. We show that by training a machine learning estimator of the Bayes optimal decision for each image, we can provide an actionable decomposition of human error into bias, variance, and noise terms, and further identify specific features (like pickup trucks) which lead humans astray. Our methods can be applied to ensure that human-in-the-loop decision-making is accurate and fair and are also applicable to black-box algorithmic systems. | 翻訳日:2022-05-17 17:37:46 公開日:2022-05-15 |
| # 交互最適化に基づくスパーシティアウェアロバスト正規化サブバンド適応フィルタリングアルゴリズム Sparsity-Aware Robust Normalized Subband Adaptive Filtering algorithms based on Alternating Optimization ( http://arxiv.org/abs/2205.07172v1 ) ライセンス: Link先を確認 | Yi Yu, Zongxin Huang, Hongsen He, Yuriy Zakharov and Rodrigo C. de Lamare | (参考訳) そこで本論文では,sparsity-aware robust subband adaptive filter (sa-rnsaf) アルゴリズムを提案する。
提案したSA-RNSAFアルゴリズムは,ロバストな基準とスパース性を考慮したペナルティを定義することで,異なるアルゴリズムを一般化する。
さらに,ステップサイズとスパースペナルティ重みを含むアルゴリズムのパラメータ(AOP)の最適化を交互に行うことにより,高速収束を示すだけでなく,スパースシステムに対する低定常不整合が得られるAOP-SA-RNSAFアルゴリズムを開発した。
AOP-SA-RNSAFアルゴリズムが既存の手法より優れていることが、様々なノイズシナリオのシミュレーションによって証明されている。 This paper proposes a unified sparsity-aware robust normalized subband adaptive filtering (SA-RNSAF) algorithm for identification of sparse systems under impulsive noise. The proposed SA-RNSAF algorithm generalizes different algorithms by defining the robust criterion and sparsity-aware penalty. Furthermore, by alternating optimization of the parameters (AOP) of the algorithm, including the step-size and the sparsity penalty weight, we develop the AOP-SA-RNSAF algorithm, which not only exhibits fast convergence but also obtains low steady-state misadjustment for sparse systems. Simulations in various noise scenarios have verified that the proposed AOP-SA-RNSAF algorithm outperforms existing techniques. | 翻訳日:2022-05-17 17:30:35 公開日:2022-05-15 |
| # Pocket2Mol:3Dタンパク質を用いた効率的な分子サンプリング Pocket2Mol: Efficient Molecular Sampling Based on 3D Protein Pockets ( http://arxiv.org/abs/2205.07249v1 ) ライセンス: Link先を確認 | Xingang Peng, Shitong Luo, Jiaqi Guan, Qi Xie, Jian Peng, Jianzhu Ma | (参考訳) 深層生成モデルは近年、新しい薬物分子の設計に多大な成功を収めている。
新しい研究のスレッドは、タンパク質ポケットの構造を考慮し、シリコ医薬品の設計における特異性と成功率を推し進める大きな可能性を示している。
この設定は、ポケットによって課される複数の幾何学的制約を満たすことができる新しい化学物質をサンプリングする基本的な計算上の課題を提起している。
以前のサンプリングアルゴリズムは、グラフ空間でサンプリングするか、原子の3次元座標のみを考慮しつつ、結合型や官能基のような他の詳細な化学構造を無視している。
そこで我々は2つのモジュールからなるe(3)同変生成ネットワーク pocket2mol を開発した。
1)結合ポケットの原子間の空間的および結合的関係を捉える新しいグラフニューラルネットワーク
2)mcを頼らずに, ポケット型表現に基づく新しい薬剤候補を探索可能な分布から抽出する新しい効率的なアルゴリズム。
実験により、Pocket2Molから採取した分子は、結合親和性および薬物類似性や合成アクセシビリティなどの薬物特性を著しく向上することが示された。 Deep generative models have achieved tremendous success in designing novel drug molecules in recent years. A new thread of works have shown the great potential in advancing the specificity and success rate of in silico drug design by considering the structure of protein pockets. This setting posts fundamental computational challenges in sampling new chemical compounds that could satisfy multiple geometrical constraints imposed by pockets. Previous sampling algorithms either sample in the graph space or only consider the 3D coordinates of atoms while ignoring other detailed chemical structures such as bond types and functional groups. To address the challenge, we develop Pocket2Mol, an E(3)-equivariant generative network composed of two modules: 1) a new graph neural network capturing both spatial and bonding relationships between atoms of the binding pockets and 2) a new efficient algorithm which samples new drug candidates conditioned on the pocket representations from a tractable distribution without relying on MCMC. Experimental results demonstrate that molecules sampled from Pocket2Mol achieve significantly better binding affinity and other drug properties such as druglikeness and synthetic accessibility. | 翻訳日:2022-05-17 17:30:21 公開日:2022-05-15 |
| # 独立・条件独立対策の評価 Evaluating Independence and Conditional Independence Measures ( http://arxiv.org/abs/2205.07253v1 ) ライセンス: Link先を確認 | Jian Ma | (参考訳) 独立と条件独立(CI)は確率と統計の2つの基本的な概念であり、統計推論の多くの中心的な問題を解くために応用できる。
さまざまな原則や概念から定義された、多くの既存の独立とCI対策があります。
本稿では,16の独立対策と16のCI対策を検証し,シミュレーションおよび実データを用いて評価した。
独立度測定では、正規分布、正規分布、アルキメデスコプラ関数から8つのシミュレーションデータを生成し、二変量、多変量、線形あるいは非線形設定の測度を比較した。
心疾患データとワイン品質データを含む2つのUCIデータセットを用いて、実際の状態における独立対策のパワーを検証した。
CI測定では, 正規分布の2つのシミュレーションデータとGumbel copula, 1つの実データ(北京空気データ)を用いて, 所定の線形または非線形設定および実シナリオでCI測定を行った。
実験結果から,シミュレーションの正しい単調性を示すことにより,ほとんどの測定値がシミュレーションデータ上で良好に動作することがわかった。
しかしながら、独立性とCI対策は、非常に複雑な実データに対してそれぞれ差別化され、ドメイン知識を参照してうまく機能するものとして考慮できるのはごくわずかである。
また,各設定と一般の行動の類似性に基づいて,これらの尺度をグループに分ける傾向が認められた。
実験によると、CEは独立性とCIの指標の両方にとって良い選択であると推奨しています。
これはまた、厳密な分布自由の定義と一貫した非パラメトリック推定器による。 Independence and Conditional Independence (CI) are two fundamental concepts in probability and statistics, which can be applied to solve many central problems of statistical inference. There are many existing independence and CI measures defined from diverse principles and concepts. In this paper, the 16 independence measures and 16 CI measures were reviewed and then evaluated with simulated and real data. For the independence measures, eight simulated data were generating from normal distribution, normal and Archimedean copula functions to compare the measures in bivariate or multivariate, linear or nonlinear settings. Two UCI dataset, including the heart disease data and the wine quality data, were used to test the power of the independence measures in real conditions. For the CI measures, two simulated data with normal distribution and Gumbel copula, and one real data (the Beijing air data) were utilized to test the CI measures in prespecified linear or nonlinear setting and real scenario. From the experimental results, we found that most of the measures work well on the simulated data by presenting the right monotonicity of the simulations. However, the independence and CI measures were differentiated on much complex real data respectively and only a few can be considered as working well with reference to domain knowledge. We also found that the measures tend to be separated into groups based on the similarity of the behaviors of them in each setting and in general. According to the experiments, we recommend CE as a good choice for both independence and CI measure. This is also due to its rigorous distribution-free definition and consistent nonparametric estimator. | 翻訳日:2022-05-17 17:30:01 公開日:2022-05-15 |
| # GLaMa: 一般的な画像塗布のための共同空間・周波数損失 GLaMa: Joint Spatial and Frequency Loss for General Image Inpainting ( http://arxiv.org/abs/2205.07162v1 ) ライセンス: Link先を確認 | Zeyu Lu and Junjun Jiang and Junqin Huang and Gang Wu and Xianming Liu | (参考訳) 画像塗布の目的は,残部からコンテキスト情報を用いて傷や損傷箇所を復元することである。
近年、畳み込みニューラルネットワーク(cnns)の復活により、画像インペインティングタスクは大きなブレークスルーを遂げている。
しかし、ほとんどの作品ではマスクの種類が不十分であり、目に見えないマスクに遭遇すると性能が劇的に低下する。
これらの課題に対処するために、GLaMaと呼ばれるLaMa画像の塗布フレームワークに基づいて、この問題を解決するためのシンプルな方法を提案する。
提案するglamaは,より多くの種類のマスクを用いることで,様々な種類の欠落情報をよりよく捉えることができる。
トレーニングフェーズにさらに劣化したイメージを組み込むことで,各種マスクに対するモデルの堅牢性を高めることが可能となる。
より合理的な結果を得るために,従来の空間再構成損失と対向損失に加えて,周波数に基づく損失も導入する。
特に,空間領域と周波数領域の両方において有効な再構成損失を導入し,再構成画像のチェス盤効果とリップルを低減する。
広範な実験により,ffhq,imagenet,places2,wikiartデータセットの各タイプのマスクに対するlamaメソッドの性能が向上することを実証した。
提案されたGLaMaは、NTIRE 2022 Image Inpainting Challenge Track 1 UnsupervisedのPSNR、LPIPS、SSIMで第1位となった。 The purpose of image inpainting is to recover scratches and damaged areas using context information from remaining parts. In recent years, thanks to the resurgence of convolutional neural networks (CNNs), image inpainting task has made great breakthroughs. However, most of the work consider insufficient types of mask, and their performance will drop dramatically when encountering unseen masks. To combat these challenges, we propose a simple yet general method to solve this problem based on the LaMa image inpainting framework, dubbed GLaMa. Our proposed GLaMa can better capture different types of missing information by using more types of masks. By incorporating more degraded images in the training phase, we can expect to enhance the robustness of the model with respect to various masks. In order to yield more reasonable results, we further introduce a frequency-based loss in addition to the traditional spatial reconstruction loss and adversarial loss. In particular, we introduce an effective reconstruction loss both in the spatial and frequency domain to reduce the chessboard effect and ripples in the reconstructed image. Extensive experiments demonstrate that our method can boost the performance over the original LaMa method for each type of mask on FFHQ, ImageNet, Places2 and WikiArt dataset. The proposed GLaMa was ranked first in terms of PSNR, LPIPS and SSIM in the NTIRE 2022 Image Inpainting Challenge Track 1 Unsupervised. | 翻訳日:2022-05-17 17:01:23 公開日:2022-05-15 |
| # 融合深層ニューラルネットワークによる顔分類と人物再同定におけるトランスファー学習 Fused Deep Neural Network based Transfer Learning in Occluded Face Classification and Person re-Identification ( http://arxiv.org/abs/2205.07203v1 ) ライセンス: Link先を確認 | Mohamed Mohana, Prasanalakshmi B, Salem Alelyani, Mohammed Saleh Alsaqer | (参考訳) 近年のパンデミックにより、隠された顔画像であっても人物の識別が重要となり、マスクの使用が増加している。
本論文は,顔画像中の4種類のうちの1種類を認識することを目的とする。
様々なトランスファー学習法を試験し, ゲートリカレントユニット(gru)を有するmobilenet v2は, 咬合の有無, 咬合の有無に関わらず画像分類において99%の精度で, 他のトランスファー学習法よりも優れた性能を示した。
並行して、デバイスがキャプチャした画像から興味のある領域を特定する。
この抽出された関心領域は顔識別に利用される。
このような顔識別プロセスは、Caffeを実装したResNetモデルを用いて行われる。
実行時間を短縮するため、顔隠蔽型が認識された後、登録データベース内の顔画像を確認するために検索した。
両者の同時処理から得られた人物の顔ラベルをマッチングスコアとして検証した。
マッチングスコアが90以上であれば、認識された人物のラベルがファイルに記録され、その名前、マスクの種類、日付、認識時刻が記録される。
MobileNetV2は,組み込みデバイスやIoTデバイスでも使用可能な,CCTV映像を使用した不審な調査領域でのリアルタイム検出と識別を行う軽量フレームワークである。
MobileNetV2とGRUを組み合わせると、信頼性が得られた。
論文で提供されたデータは、隠蔽分類、顔認識、顔のランドマークのためのGoogle Imagesから収集されるか、フィールドワークで収集される2つのカテゴリに分類される。
この研究の動機は、社会ベースのe-governanceにおける監視活動に役立つ人物の詳細を特定し記録することにある。 Recent period of pandemic has brought person identification even with occluded face image a great importance with increased number of mask usage. This paper aims to recognize the occlusion of one of four types in face images. Various transfer learning methods were tested, and the results show that MobileNet V2 with Gated Recurrent Unit(GRU) performs better than any other Transfer Learning methods, with a perfect accuracy of 99% in classification of images as with or without occlusion and if with occlusion, then the type of occlusion. In parallel, identifying the Region of interest from the device captured image is done. This extracted Region of interest is utilised in face identification. Such a face identification process is done using the ResNet model with its Caffe implementation. To reduce the execution time, after the face occlusion type was recognized the person was searched to confirm their face image in the registered database. The face label of the person obtained from both simultaneous processes was verified for their matching score. If the matching score was above 90, the recognized label of the person was logged into a file with their name, type of mask, date, and time of recognition. MobileNetV2 is a lightweight framework which can also be used in embedded or IoT devices to perform real time detection and identification in suspicious areas of investigations using CCTV footages. When MobileNetV2 was combined with GRU, a reliable accuracy was obtained. The data provided in the paper belong to two categories, being either collected from Google Images for occlusion classification, face recognition, and facial landmarks, or collected in fieldwork. The motive behind this research is to identify and log person details which could serve surveillance activities in society-based e-governance. | 翻訳日:2022-05-17 17:01:00 公開日:2022-05-15 |
| # トランスを用いたビデオフレーム補間 Video Frame Interpolation with Transformer ( http://arxiv.org/abs/2205.07230v1 ) ライセンス: Link先を確認 | Liying Lu, Ruizheng Wu, Huaijia Lin, Jiangbo Lu, Jiaya Jia | (参考訳) ビデオの中間フレームを合成することを目的としたビデオフレーム補間(VFI)は,近年の深層畳み込みネットワークの発展によって著しく進歩している。
畳み込みネットワーク上に構築された既存の手法は、畳み込み操作の局所性のために大きな動きを扱うという課題に直面している。
この制限を克服するために,ビデオフレーム間の長距離画素相関をモデル化するtransformerを利用した新しい枠組みを提案する。
さらに,我々のネットワークは,クロススケールウィンドウが相互に対話する,新しいウィンドウベースのアテンション機構を備えている。
この設計はレセプティブフィールドを効果的に拡大し、マルチスケール情報を集約する。
大規模定量的および定性的な実験により,本手法は様々なベンチマークで新しい最先端結果が得られることを示した。 Video frame interpolation (VFI), which aims to synthesize intermediate frames of a video, has made remarkable progress with development of deep convolutional networks over past years. Existing methods built upon convolutional networks generally face challenges of handling large motion due to the locality of convolution operations. To overcome this limitation, we introduce a novel framework, which takes advantage of Transformer to model long-range pixel correlation among video frames. Further, our network is equipped with a novel cross-scale window-based attention mechanism, where cross-scale windows interact with each other. This design effectively enlarges the receptive field and aggregates multi-scale information. Extensive quantitative and qualitative experiments demonstrate that our method achieves new state-of-the-art results on various benchmarks. | 翻訳日:2022-05-17 17:00:33 公開日:2022-05-15 |
| # 軌道予測におけるクロスデータセット性能の不確かさ推定 Uncertainty estimation for Cross-dataset performance in Trajectory prediction ( http://arxiv.org/abs/2205.07310v1 ) ライセンス: Link先を確認 | Thomas Gilles, Stefano Sabatini, Dzmitry Tsishkou, Bogdan Stanciulescu, Fabien Moutarde | (参考訳) 軌道予測手法の開発には多くの研究が行われており、このタスクをベンチマークするために様々なデータセットが提案されているが、これらの手法がデータセットをまたいだ一般化可能性と転送可能性に関する研究はほとんど行われていない。
本稿では,4つのデータセット(Argoverse, NuScenes, Interaction, Shifts)における最先端軌跡予測手法の性能について検討する。
まず、同様の方法が適用され、同様のハイパーパラメータを持つすべてのデータセット上でトレーニングされるかを確認します。
次に、どのデータセットが他の人に最も適しているかを強調し、不確実性推定がより良い転送可能なパフォーマンスを実現する方法について研究する。 While a lot of work has been done on developing trajectory prediction methods, and various datasets have been proposed for benchmarking this task, little study has been done so far on the generalizability and the transferability of these methods across dataset. In this paper, we study the performance of a state-of-the-art trajectory prediction method across four different datasets (Argoverse, NuScenes, Interaction, Shifts). We first check how a similar method can be applied and trained on all these datasets with similar hyperparameters. Then we highlight which datasets work best on others, and study how uncertainty estimation allows for a better transferable performance; proposing a novel way to estimate uncertainty and to directly use it in prediction. | 翻訳日:2022-05-17 17:00:19 公開日:2022-05-15 |
| # 遅延コストを伴うオンラインサブモジュラーでない最小化:フル情報からバンディットフィードバックへ Online Nonsubmodular Minimization with Delayed Costs: From Full Information to Bandit Feedback ( http://arxiv.org/abs/2205.07217v1 ) ライセンス: Link先を確認 | Tianyi Lin and Aldo Pacchiano and Yaodong Yu and Michael I. Jordan | (参考訳) 疎度推定およびベイズ最適化におけるオンライン学習への応用により、全情報と包括的フィードバック設定の両方において遅延コストを伴う制約のない非部分的最小化の問題を考える。
オンライン非拘束サブモジュラー最小化に関するこれまでの研究とは対照的に、特別な構造を持つ非モジュラー関数のクラスに注目し、静的および遅延シナリオにおけるオンラインおよび近似オンラインバンディット勾配降下アルゴリズムのいくつかの変種に対する後悔の保証を証明する。
我々は,決定の選択と請求費用の受け取りの遅延が無制限であっても,情報とバンディットのフィードバック設定におけるエージェントの後悔の限界を導出する。
このアプローチの鍵となるのは、$(\alpha, \beta)$-regret の概念と ~\citet{El-2020-Optimal} からの一般凸緩和モデルの拡張である。
我々は,アルゴリズムの有効性を示すために,いくつかのシミュレーション研究を行った。 Motivated by applications to online learning in sparse estimation and Bayesian optimization, we consider the problem of online unconstrained nonsubmodular minimization with delayed costs in both full information and bandit feedback settings. In contrast to previous works on online unconstrained submodular minimization, we focus on a class of nonsubmodular functions with special structure, and prove regret guarantees for several variants of the online and approximate online bandit gradient descent algorithms in static and delayed scenarios. We derive bounds for the agent's regret in the full information and bandit feedback setting, even if the delay between choosing a decision and receiving the incurred cost is unbounded. Key to our approach is the notion of $(\alpha, \beta)$-regret and the extension of the generic convex relaxation model from~\citet{El-2020-Optimal}, the analysis of which is of independent interest. We conduct and showcase several simulation studies to demonstrate the efficacy of our algorithms. | 翻訳日:2022-05-17 16:51:28 公開日:2022-05-15 |
| # 共同分布シフトのパラメータ適応 Parameter Adaptation for Joint Distribution Shifts ( http://arxiv.org/abs/2205.07315v1 ) ライセンス: Link先を確認 | Siddhartha Datta | (参考訳) ラベルシフト(敵攻撃の形で)やドメインシフトなど、異なるタイプの分散シフトに取り組む方法が存在するが、ジョイントシフト設定に取り組むことは依然として未解決の問題である。
逆方向とドメイン固有の摂動の両方を示す共同分布シフトの研究を通して、共同シフトが個々のシフトよりもモデル性能を悪化させるだけでなく、類似ドメインの使用が異種ドメインよりもパフォーマンスを悪化させることを示す。
性能低下を抑制するため,入力とパラメータ空間境界に動機づけられた摂動セットの使用を研究し,パラメータw.r.t.テストタイム入力をモデル化してパフォーマンスを回復するメタ学習戦略(ハイパーネットワーク)を採用する。 While different methods exist to tackle distinct types of distribution shift, such as label shift (in the form of adversarial attacks) or domain shift, tackling the joint shift setting is still an open problem. Through the study of a joint distribution shift manifesting both adversarial and domain-specific perturbations, we not only show that a joint shift worsens model performance compared to their individual shifts, but that the use of a similar domain worsens performance than a dissimilar domain. To curb the performance drop, we study the use of perturbation sets motivated by input and parameter space bounds, and adopt a meta learning strategy (hypernetworks) to model parameters w.r.t. test-time inputs to recover performance. | 翻訳日:2022-05-17 16:49:26 公開日:2022-05-15 |
| # 勾配次数による楕円式学習におけるソボレフ加速と統計的最適性 Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent ( http://arxiv.org/abs/2205.07331v1 ) ライセンス: Link先を確認 | Yiping Lu, Jose Blanchet, Lexing Ying | (参考訳) 本稿では,対象関数の一般クラスを用いて,ランダムにサンプリングされた雑音観測から逆問題を解くための勾配降下のソボレフノルムの観点からの統計的限界について検討する。
目的関数のクラスには,核回帰のためのsobolevトレーニング,ディープリッツ法(drm),および楕円偏微分方程式(pdes)を特別に解くための物理インフォームドニューラルネットワーク(pinn)が含まれる。
好適な再生カーネルヒルベルト空間と、カーネル積分作用素の定義による問題硬度連続パラメータ化を用いて、我々のモデルの潜在的無限次元パラメータ化を考える。
この目的関数上の勾配降下は、統計的最適性も達成でき、サンプルサイズに応じてデータに対する最適通過数も増加することが証明される。
本理論に基づき,データサイズとタスクの硬度が増加すると,drmの最適エポック数がピン数よりも大きくなることを仮定して,トレーニングの目的関数としてソボレフノルムを使用することによる暗黙の加速を説明する。 In this paper, we study the statistical limits in terms of Sobolev norms of gradient descent for solving inverse problem from randomly sampled noisy observations using a general class of objective functions. Our class of objective functions includes Sobolev training for kernel regression, Deep Ritz Methods (DRM), and Physics Informed Neural Networks (PINN) for solving elliptic partial differential equations (PDEs) as special cases. We consider a potentially infinite-dimensional parameterization of our model using a suitable Reproducing Kernel Hilbert Space and a continuous parameterization of problem hardness through the definition of kernel integral operators. We prove that gradient descent over this objective function can also achieve statistical optimality and the optimal number of passes over the data increases with sample size. Based on our theory, we explain an implicit acceleration of using a Sobolev norm as the objective function for training, inferring that the optimal number of epochs of DRM becomes larger than the number of PINN when both the data size and the hardness of tasks increase, although both DRM and PINN can achieve statistical optimality. | 翻訳日:2022-05-17 15:53:39 公開日:2022-05-15 |
| # 名前付きエンティティ認識のためのHero-Gangニューラルモデル Hero-Gang Neural Model For Named Entity Recognition ( http://arxiv.org/abs/2205.07177v1 ) ライセンス: Link先を確認 | Jinpeng Hu, Yaling Shen, Yang Liu, Xiang Wan, Tsung-Hui Chang | (参考訳) 名前付きエンティティ認識(NER)は、名前付きエンティティ(NE)を自由テキストから識別することを目的とした、NLPの基本的で重要なタスクである。
近年,Transformer モデルに適用されるマルチヘッドアテンション機構は,より長いコンテキスト情報を効果的にキャプチャできるため,Transformer ベースのモデルが主流となり,このタスクにおいて大きなパフォーマンスを実現している。
残念ながら、これらのモデルは効果的なグローバルなコンテキスト情報をキャプチャできるが、NERにおいて重要な局所的特徴と位置情報抽出にはまだ制限がある。
本稿では,この制限に対処するために,HeroとGangモジュールを含む新しいHero-Gang Neural Structure (HGN)を提案する。
具体的には、heroモジュールは自己着脱機構の利点を保ちつつトランスフォーマーベースのエンコーダからなり、gangモジュールはマルチウィンドウリカレントモジュールを使用してheroモジュールの指導下で局所的な特徴や位置情報を抽出する。
その後、提案するマルチウィンドウアテンションは、グローバル情報と複数のローカル特徴を効果的に組み合わせ、エンティティラベルを予測する。
いくつかのベンチマークデータセットにおける実験結果は,提案モデルの有効性を示すものである。 Named entity recognition (NER) is a fundamental and important task in NLP, aiming at identifying named entities (NEs) from free text. Recently, since the multi-head attention mechanism applied in the Transformer model can effectively capture longer contextual information, Transformer-based models have become the mainstream methods and have achieved significant performance in this task. Unfortunately, although these models can capture effective global context information, they are still limited in the local feature and position information extraction, which is critical in NER. In this paper, to address this limitation, we propose a novel Hero-Gang Neural structure (HGN), including the Hero and Gang module, to leverage both global and local information to promote NER. Specifically, the Hero module is composed of a Transformer-based encoder to maintain the advantage of the self-attention mechanism, and the Gang module utilizes a multi-window recurrent module to extract local features and position information under the guidance of the Hero module. Afterward, the proposed multi-window attention effectively combines global information and multiple local features for predicting entity labels. Experimental results on several benchmark datasets demonstrate the effectiveness of our proposed model. | 翻訳日:2022-05-17 15:49:47 公開日:2022-05-15 |
| # マイナショットインテント検出のための微調整事前学習言語モデル:教師付き事前学習と等方化 Fine-tuning Pre-trained Language Models for Few-shot Intent Detection: Supervised Pre-training and Isotropization ( http://arxiv.org/abs/2205.07208v1 ) ライセンス: Link先を確認 | Haode Zhang, Haowen Liang, Yuwei Zhang, Liming Zhan, Xiao-Ming Wu, Xiaolei Lu, Albert Y.S. Lam | (参考訳) 少ないアノテーションでタスク指向対話システムのための優れた意図分類器を訓練することは困難である。
近年の研究では、公開ベンチマークから少量のラベル付き発話を教師付きで処理する言語モデルが非常に有用であることが示されている。
しかし,教師付き事前学習は異方性特徴空間を生じさせ,意味表現の表現力を抑制する可能性がある。
近年の等方化研究に触発されて,等方性に対する特徴空間を定式化し,教師付き事前学習を改善することを提案する。
比較学習と相関行列に基づく2つの正則化器を提案し,その有効性を示す。
本研究の主目的は,アイソトロピゼーションによる教師付き事前学習の正規化を約束し,撮影意図検出の性能向上を図ることである。
ソースコードはhttps://github.com/fanolabs/isoIntentBert-mainにある。 It is challenging to train a good intent classifier for a task-oriented dialogue system with only a few annotations. Recent studies have shown that fine-tuning pre-trained language models with a small amount of labeled utterances from public benchmarks in a supervised manner is extremely helpful. However, we find that supervised pre-training yields an anisotropic feature space, which may suppress the expressive power of the semantic representations. Inspired by recent research in isotropization, we propose to improve supervised pre-training by regularizing the feature space towards isotropy. We propose two regularizers based on contrastive learning and correlation matrix respectively, and demonstrate their effectiveness through extensive experiments. Our main finding is that it is promising to regularize supervised pre-training with isotropization to further improve the performance of few-shot intent detection. The source code can be found at https://github.com/fanolabs/isoIntentBert-main. | 翻訳日:2022-05-17 15:49:25 公開日:2022-05-15 |
| # BERTで学んだ潜在概念の発見 Discovering Latent Concepts Learned in BERT ( http://arxiv.org/abs/2205.07237v1 ) ライセンス: Link先を確認 | Fahim Dalvi, Abdul Rafae Khan, Firoj Alam, Nadir Durrani, Jia Xu, Hassan Sajjad | (参考訳) ディープニューラルネットワークモデルと様々な言語的および非言語的概念を符号化する能力を分析する多くの研究は、これらのモデルの内部力学の解釈を提供する。
分析の範囲は、伝統的な言語知識を強化し、モデルによって新しい概念がどのように学習されるかを反映しない事前定義された概念に限られる。
我々は、ニューラルネットワークモデルで学んだ潜在概念を教師なしの方法で発見・分析し、モデルの観点から解釈を提供することにより、この制限に対処する。
本研究では,
一 事前訓練されたBERTモデルに潜伏概念が存在すること。
二 発見済みの潜在概念が、古典的言語階層とどのように連携し、又は分岐するか。
三 潜在概念が層にまたがってどのように進化するか。
私たちの発見は
一 事前定義された分類(例えば、pos、意味タグ)を厳密に遵守しない新しい概念(動物分類及び人口統計群)を学ぶこと。
二 複数の潜在概念は、意味論、構文、形態学を含む複数の性質に基づいている。
三 モデルの下位層が浅い語彙概念の学習において支配的であり、上位層が意味関係を学習している間、及び
iv) 発見された潜在概念は、モデルで学んだ潜在的なバイアスを強調します。
また、174のコンセプトラベルと1Mのアノテーション付きインスタンスからなる新しいBERT ConceptNetデータセット(BCN)もリリースした。 A large number of studies that analyze deep neural network models and their ability to encode various linguistic and non-linguistic concepts provide an interpretation of the inner mechanics of these models. The scope of the analyses is limited to pre-defined concepts that reinforce the traditional linguistic knowledge and do not reflect on how novel concepts are learned by the model. We address this limitation by discovering and analyzing latent concepts learned in neural network models in an unsupervised fashion and provide interpretations from the model's perspective. In this work, we study: i) what latent concepts exist in the pre-trained BERT model, ii) how the discovered latent concepts align or diverge from classical linguistic hierarchy and iii) how the latent concepts evolve across layers. Our findings show: i) a model learns novel concepts (e.g. animal categories and demographic groups), which do not strictly adhere to any pre-defined categorization (e.g. POS, semantic tags), ii) several latent concepts are based on multiple properties which may include semantics, syntax, and morphology, iii) the lower layers in the model dominate in learning shallow lexical concepts while the higher layers learn semantic relations and iv) the discovered latent concepts highlight potential biases learned in the model. We also release a novel BERT ConceptNet dataset (BCN) consisting of 174 concept labels and 1M annotated instances. | 翻訳日:2022-05-17 15:49:10 公開日:2022-05-15 |
| # 複合単語識別のための多言語・多言語単言語設定におけるドメイン適応 Domain Adaptation in Multilingual and Multi-Domain Monolingual Settings for Complex Word Identification ( http://arxiv.org/abs/2205.07283v1 ) ライセンス: Link先を確認 | George-Eduard Zaharia, R\u{a}zvan-Alexandru Sm\u{a}du, Dumitru-Clementin Cercel, Mihai Dascalu | (参考訳) 複雑な単語識別(CWI)は、適切なテキストの単純化に向けた基礎的なプロセスである。
CWIは文脈に大きく依存するが、その困難さは、ドメインや言語の観点から大きく異なる利用可能なデータセットの不足によって増大する。
このようにして、幅広い入力例にまたがって一般化するロバストなモデルを開発するのがますます難しくなっている。
本稿では,ドメイン適応に基づくCWIタスクの新しいトレーニング手法を提案する。
このテクニックは、複数のドメインを扱う問題に対処するもので、探索されたデータセット間の差異を平滑化する方法を生み出します。
さらに,語彙的複雑性の予測を補完するために,テキストの単純化という類似した補助タスクを提案する。
我々のモデルは,Lexical Complexity Prediction 2021データセットからCompLexを考えると,ベニラトレーニング手法と比較してピアソン相関係数が2.42%向上する。
同時に、複雑な単語識別の2018年のデータセットに依存する言語横断的な設定を考慮しながら、ピアソンスコアの3%の増加を得る。
さらに,本モデルでは,平均絶対誤差という観点から最先端の結果が得られる。 Complex word identification (CWI) is a cornerstone process towards proper text simplification. CWI is highly dependent on context, whereas its difficulty is augmented by the scarcity of available datasets which vary greatly in terms of domains and languages. As such, it becomes increasingly more difficult to develop a robust model that generalizes across a wide array of input examples. In this paper, we propose a novel training technique for the CWI task based on domain adaptation to improve the target character and context representations. This technique addresses the problem of working with multiple domains, inasmuch as it creates a way of smoothing the differences between the explored datasets. Moreover, we also propose a similar auxiliary task, namely text simplification, that can be used to complement lexical complexity prediction. Our model obtains a boost of up to 2.42% in terms of Pearson Correlation Coefficients in contrast to vanilla training techniques, when considering the CompLex from the Lexical Complexity Prediction 2021 dataset. At the same time, we obtain an increase of 3% in Pearson scores, while considering a cross-lingual setup relying on the Complex Word Identification 2018 dataset. In addition, our model yields state-of-the-art results in terms of Mean Absolute Error. | 翻訳日:2022-05-17 15:48:50 公開日:2022-05-15 |
| # 弱監督によるロバスト学習のためのメタ自己定義 Meta Self-Refinement for Robust Learning with Weak Supervision ( http://arxiv.org/abs/2205.07290v1 ) ライセンス: Link先を確認 | Dawei Zhu, Xiaoyu Shen, Michael A. Hedderich, Dietrich Klakow | (参考訳) 深いニューラルネットワーク(DNN)を弱い監視でトレーニングすることは、アノテーションのコストを大幅に削減できるため、ホットなトピックである。
しかし、監督の弱いラベルは、かなりうるさいし、DNNの容量が高いため、ノイズの多いラベルを過度に利用できる。
近年の手法では、教師がノイズラベルで訓練された教師が生徒に教えるノイズローバストモデルの訓練に自己学習技術を活用している。
しかし、そのようなモデルの教師は相当量のノイズに適合し、誤った擬似ラベルを高い信頼性で生成し、エラー伝播を引き起こす可能性がある。
本研究では,ノイズ耐性学習フレームワークであるMeta Self-Refinement(MSR)を提案する。
騒がしいラベルで訓練された教師に頼るのではなく、教師をアップデートして擬似ラベルを磨き続けます。
トレーニングステップ毎に、現在のミニバッチにメタ勾配降下を行い、クリーンな検証セット上での学生のパフォーマンスを最大化する。
8つのNLPベンチマークによる大規模な実験では、MSRは全ての設定においてノイズに対して堅牢であり、最先端の精度は11.4%、F1スコアは9.26%である。 Training deep neural networks (DNNs) with weak supervision has been a hot topic as it can significantly reduce the annotation cost. However, labels from weak supervision can be rather noisy and the high capacity of DNNs makes them easy to overfit the noisy labels. Recent methods leverage self-training techniques to train noise-robust models, where a teacher trained on noisy labels is used to teach a student. However, the teacher from such models might fit a substantial amount of noise and produce wrong pseudo-labels with high confidence, leading to error propagation. In this work, we propose Meta Self-Refinement (MSR), a noise-resistant learning framework, to effectively combat noisy labels from weak supervision sources. Instead of purely relying on a fixed teacher trained on noisy labels, we keep updating the teacher to refine its pseudo-labels. At each training step, it performs a meta gradient descent on the current mini-batch to maximize the student performance on a clean validation set. Extensive experimentation on eight NLP benchmarks demonstrates that MSR is robust against noise in all settings and outperforms the state-of-the-art up to 11.4% in accuracy and 9.26% in F1 score. | 翻訳日:2022-05-17 15:48:32 公開日:2022-05-15 |
| # Transkimmer:トランスフォーマーがレイヤワイドスキーを学ぶ Transkimmer: Transformer Learns to Layer-wise Skim ( http://arxiv.org/abs/2205.07324v1 ) ライセンス: Link先を確認 | Yue Guan, Zhengyi Li, Jingwen Leng, Zhouhan Lin, Minyi Guo | (参考訳) トランスフォーマーアーキテクチャは、自然言語処理やコンピュータビジョンから多くの機械学習タスクのデファクトモデルとなっている。
そのため、計算効率の向上が最重要となる。
Transformerベースのモデルの主要な計算非効率の1つは、すべての層で同じ計算量を使うことである。
以前の研究は、その計算効率を改善するためにトークンをスキミングする能力でトランスフォーマーモデルを強化することを提案した。
しかし、彼らは離散スキミング予測器の効率とエンドツーエンドの最適化に苦しむ。
上記の制限に対処するために、各レイヤが要求しない隠れた状態トークンを識別することを学ぶtranskimmerアーキテクチャを提案する。
スキミングされたトークンは直接最終出力に転送され、連続するレイヤの計算が削減される。
Transkimmerのキーとなるアイデアは、各レイヤの前にパラメータ化予測子を追加して、スキミングの決定を学習することだ。
また,トランスキマーのエンド・ツー・エンドトレーニングに再パラメータ化トリックを適用し,スキムロスを追加することを提案する。
Transkimmerは、ベニラBERTベースラインと比較して、GLUEベンチマークで平均10.97倍のスピードアップを達成する。 Transformer architecture has become the de-facto model for many machine learning tasks from natural language processing and computer vision. As such, improving its computational efficiency becomes paramount. One of the major computational inefficiency of Transformer-based models is that they spend the identical amount of computation throughout all layers. Prior works have proposed to augment the Transformer model with the capability of skimming tokens to improve its computational efficiency. However, they suffer from not having effectual and end-to-end optimization of the discrete skimming predictor. To address the above limitations, we propose the Transkimmer architecture, which learns to identify hidden state tokens that are not required by each layer. The skimmed tokens are then forwarded directly to the final output, thus reducing the computation of the successive layers. The key idea in Transkimmer is to add a parameterized predictor before each layer that learns to make the skimming decision. We also propose to adopt reparameterization trick and add skim loss for the end-to-end training of Transkimmer. Transkimmer achieves 10.97x average speedup on GLUE benchmark compared with vanilla BERT-base baseline with less than 1% accuracy degradation. | 翻訳日:2022-05-17 15:48:09 公開日:2022-05-15 |
| # 推薦システムにおけるテキスト説明と批判 Textual Explanations and Critiques in Recommendation Systems ( http://arxiv.org/abs/2205.07268v1 ) ライセンス: Link先を確認 | Diego Antognini | (参考訳) 人工知能と機械学習アルゴリズムはユビキタスになりつつある。
それらは幅広い利点を提供しているが、決定クリティカルな分野への採用は、解釈可能性の欠如、特にテキストデータによって制限されている。
さらに、これまで以上に多くのデータが利用可能になっているため、自動予測を説明することがますます重要になっている。
一般的に、ユーザは基礎となる計算プロセスを理解し、特にモデルが結果や説明を正しく生成できなかった場合、あるいはその両方を正しく処理することが難しいと感じる。
この問題は、ユーザがモデルの内部動作をよりよく理解し、アクションをコントロールする必要性が高まっていることを強調します。
この論文は、このニーズに対処する2つの基本的な課題に焦点を当てている。
テキスト文書から高品質な説明をスケーラブルでデータ駆動の方法で推論する。
第2の課題は、説明を実行可能なものにすることだ。
この論文は自然言語処理とレコメンデーションタスクにおける2つの重要な応用を考察している。
全体としては、2つの逐次的アプリケーションの性能低下のコストで解釈可能性が得られないことが示される。
当社のフレームワークは他の分野にも適用可能です。
この論文は、人工知能における約束と実践のギャップを埋める効果的な手段である。 Artificial intelligence and machine learning algorithms have become ubiquitous. Although they offer a wide range of benefits, their adoption in decision-critical fields is limited by their lack of interpretability, particularly with textual data. Moreover, with more data available than ever before, it has become increasingly important to explain automated predictions. Generally, users find it difficult to understand the underlying computational processes and interact with the models, especially when the models fail to generate the outcomes or explanations, or both, correctly. This problem highlights the growing need for users to better understand the models' inner workings and gain control over their actions. This dissertation focuses on two fundamental challenges of addressing this need. The first involves explanation generation: inferring high-quality explanations from text documents in a scalable and data-driven manner. The second challenge consists in making explanations actionable, and we refer to it as critiquing. This dissertation examines two important applications in natural language processing and recommendation tasks. Overall, we demonstrate that interpretability does not come at the cost of reduced performance in two consequential applications. Our framework is applicable to other fields as well. This dissertation presents an effective means of closing the gap between promise and practice in artificial intelligence. | 翻訳日:2022-05-17 15:09:10 公開日:2022-05-15 |
| # fedhap:協調hapsを用いたleo星座の高速フェデレート学習 FedHAP: Fast Federated Learning for LEO Constellations using Collaborative HAPs ( http://arxiv.org/abs/2205.07216v1 ) ライセンス: Link先を確認 | Mohamed Elmahallawy, Tony Luo | (参考訳) 低地球軌道(LEO)衛星コンステレーションは、ブロードバンドインターネットアクセスを提供し、グローバルなデータ取得と大規模AIアプリケーションを可能にするという特徴があるため、近年急速に展開されている。
このようなアプリケーションに機械学習(ML)を適用するために、画像などの衛星データを地上局(GS)にダウンロードし、集中的にモデルを訓練する従来の方法は、帯域幅の制限、衛星とGS間の断続接続、生データの送信に関するプライバシー上の懸念のため望ましくない。
新たなコミュニケーションおよびコンピューティングパラダイムとしてのフェデレートラーニング(FL)は、この問題に対する潜在的に最高の解決策を提供する。
しかし,既存のflソリューションは,過度の収束遅延や信頼できない無線チャネルなど,大きな課題があるため,そのような leo コンステレーションシナリオには適さないことを示す。
そこで本研究では,分散パラメータサーバ (PS) として高高度プラットフォーム (HAP) を導入し,衛星間協調によるモデルトレーニングを効率的に行うための同期FLアルゴリズムであるFedHAPを提案する。
また,収束を加速するために,fedhapが活用する衛星とhap間の層間通信方式を提案する。
シミュレーションの結果,fedhapは,ベンチマークよりもはるかに少ない通信ラウンドでモデル収束を達成し,トレーニング時間をほぼ数日から数時間に短縮し,精度を同等に向上した。 Low Earth Obit (LEO) satellite constellations have seen a sharp increase of deployment in recent years, due to their distinctive capabilities of providing broadband Internet access and enabling global data acquisition as well as large-scale AI applications. To apply machine learning (ML) in such applications, the traditional way of downloading satellite data such as imagery to a ground station (GS) and then training a model in a centralized manner, is not desirable because of the limited bandwidth, intermittent connectivity between satellites and the GS, and privacy concerns on transmitting raw data. Federated Learning (FL) as an emerging communication and computing paradigm provides a potentially supreme solution to this problem. However, we show that existing FL solutions do not fit well in such LEO constellation scenarios because of significant challenges such as excessive convergence delay and unreliable wireless channels. To this end, we propose to introduce high-altitude platforms (HAPs) as distributed parameter servers (PSs) and propose a synchronous FL algorithm, FedHAP, to accomplish model training in an efficient manner via inter-satellite collaboration. To accelerate convergence, we also propose a layered communication scheme between satellites and HAPs that FedHAP leverages. Our simulations demonstrate that FedHAP attains model convergence in much fewer communication rounds than benchmarks, cutting the training time substantially from several days down to a few hours with the same level of resulting accuracy. | 翻訳日:2022-05-17 15:06:42 公開日:2022-05-15 |
| # 産業プロセス制御のための信頼なオフラインモデルに基づく最適化 Reliable Offline Model-based Optimization for Industrial Process Control ( http://arxiv.org/abs/2205.07250v1 ) ライセンス: Link先を確認 | Cheng Feng, Jinyan Guan | (参考訳) オフラインモデルに基づく最適化の研究領域では、新規で有望な手法が頻繁に開発されている。
しかし、プロセス制御のための生産ラインのような実際の産業システムにそのような方法を実装することは、しばしばフラストレーション的なプロセスである。
本稿では、オフラインモデルベース最適化の現在の成功を産業プロセス制御問題に拡張する2つの重要な問題に対処する。
1)産業プロセスのオフラインデータから信頼性のあるダイナミクスモデルを学ぶには?
2)既存のモデルベース最適化アルゴリズムを利用して、オフラインデータから信頼性はあるが過保守な制御ポリシーを学習する方法。
具体的には,産業シナリオにおける報酬計算の精度を高めるために,条件付き生成型逆ネットワークのアンサンブルに基づくダイナミクスモデルを提案する。
さらに,最適制御方針の学習・探索中に,分布外入力に対して過大な報酬を与えることを効果的に回避できる認識的未確認ペナルティー評価関数を提案する。
本手法は,2つの代表的な事例(離散制御ケースと連続制御ケース)について広範な実験を行い,産業プロセス制御のためのオフラインポリシー学習のベースラインと比較した。 In the research area of offline model-based optimization, novel and promising methods are frequently developed. However, implementing such methods in real-world industrial systems such as production lines for process control is oftentimes a frustrating process. In this work, we address two important problems to extend the current success of offline model-based optimization to industrial process control problems: 1) how to learn a reliable dynamics model from offline data for industrial processes? 2) how to learn a reliable but not over-conservative control policy from offline data by utilizing existing model-based optimization algorithms? Specifically, we propose a dynamics model based on ensemble of conditional generative adversarial networks to achieve accurate reward calculation in industrial scenarios. Furthermore, we propose an epistemic-uncertainty-penalized reward evaluation function which can effectively avoid giving over-estimated rewards to out-of-distribution inputs during the learning/searching of the optimal control policy. We provide extensive experiments with the proposed method on two representative cases (a discrete control case and a continuous control case), showing that our method compares favorably to several baselines in offline policy learning for industrial process control. | 翻訳日:2022-05-17 15:06:17 公開日:2022-05-15 |
| # 3DLinker:分子リンカ設計のためのE(3)等価変分オートエンコーダ 3DLinker: An E(3) Equivariant Variational Autoencoder for Molecular Linker Design ( http://arxiv.org/abs/2205.07309v1 ) ライセンス: Link先を確認 | Yinan Huang, Xingang Peng, Jianzhu Ma, Muhan Zhang | (参考訳) 深層学習は、望ましい医薬特性を持つ新規な化合物を設計することに成功した。
本研究では、2つの独立した分子をそれぞれの機能で物理的に結合させる小さな「リンカー」を生成する新しいタイプの薬物設計問題に焦点を当てる。
主な計算上の課題は
1) リンカーの生成は,以前の処理でスクラッチから全分子を生成するのとは対照的に,与えられた2つの分子に対して条件付きである。
2)リンカーは、2つの分子のアンカー原子に大きく依存しており、事前には分かっていない。
3) 分子の3次元構造と配向は、e(3)族への同値性が必要とされる原子衝突を避けるために考慮する必要がある。
これらの問題に対処するため、3DLinkerという条件付き生成モデルを提案し、E(3)同変グラフ変分オートエンコーダに基づいて、アンカー原子を予測し、リンカーグラフとその3D構造を共同生成する。
私たちが知る限りでは、このタスクを達成できる以前のモデルはありません。
我々は、他の分子設計タスクから修正した複数の条件生成モデルと比較し、分子グラフの復元速度が著しく高く、さらに重要なことは、全ての原子の3次元座標を正確に予測することである。 Deep learning has achieved tremendous success in designing novel chemical compounds with desirable pharmaceutical properties. In this work, we focus on a new type of drug design problem -- generating a small "linker" to physically attach two independent molecules with their distinct functions. The main computational challenges include: 1) the generation of linkers is conditional on the two given molecules, in contrast to generating full molecules from scratch in previous works; 2) linkers heavily depend on the anchor atoms of the two molecules to be connected, which are not known beforehand; 3) 3D structures and orientations of the molecules need to be considered to avoid atom clashes, for which equivariance to E(3) group are necessary. To address these problems, we propose a conditional generative model, named 3DLinker, which is able to predict anchor atoms and jointly generate linker graphs and their 3D structures based on an E(3) equivariant graph variational autoencoder. So far as we know, there are no previous models that could achieve this task. We compare our model with multiple conditional generative models modified from other molecular design tasks and find that our model has a significantly higher rate in recovering molecular graphs, and more importantly, accurately predicting the 3D coordinates of all the atoms. | 翻訳日:2022-05-17 15:06:01 公開日:2022-05-15 |
| # 深層学習モデルの耐雑音性に及ぼすバッチ正規化の影響 Effect of Batch Normalization on Noise Resistant Property of Deep Learning Models ( http://arxiv.org/abs/2205.07372v1 ) ライセンス: Link先を確認 | Omobayode Fagbohungbe and Lijun Qian | (参考訳) アナログハードウェアの高速実行速度とエネルギ効率は、エッジにディープラーニングモデルを展開する上での強力な候補となっている。
しかし、モデル重量の変化を引き起こすアナログノイズの存在に懸念があり、固有のノイズ耐性特性にもかかわらず、ディープラーニングモデルの性能劣化につながっている。
本研究では,一般的なバッチ正規化層がディープラーニングモデルの耐雑音性に及ぼす影響について検討した。
この体系的な研究は、まずcifar10とcifar100データセットのバッチ正規化層を使わずに、異なるモデルをトレーニングすることで行われた。
そして、得られたモデルの重みをアナログノイズで注入し、テストデータセットにおけるモデルの性能を取得して比較する。
その結果,バッチ正規化層の存在が深層学習モデルの耐雑音性に悪影響を及ぼし,バッチ正規化層の増加とともに影響が増大することがわかった。 The fast execution speed and energy efficiency of analog hardware has made them a strong contender for deployment of deep learning model at the edge. However, there are concerns about the presence of analog noise which causes changes to the weight of the models, leading to performance degradation of deep learning model, despite their inherent noise resistant characteristics. The effect of the popular batch normalization layer on the noise resistant ability of deep learning model is investigated in this work. This systematic study has been carried out by first training different models with and without batch normalization layer on CIFAR10 and CIFAR100 dataset. The weights of the resulting models are then injected with analog noise and the performance of the models on the test dataset is obtained and compared. The results show that the presence of batch normalization layer negatively impacts noise resistant property of deep learning model and the impact grows with the increase of the number of batch normalization layers. | 翻訳日:2022-05-17 15:05:40 公開日:2022-05-15 |
| # Sibyl: オンライン強化学習を用いたハイブリッドストレージシステムにおける適応的で拡張可能なデータ配置 Sibyl: Adaptive and Extensible Data Placement in Hybrid Storage Systems Using Online Reinforcement Learning ( http://arxiv.org/abs/2205.07394v1 ) ライセンス: Link先を確認 | Gagandeep Singh, Rakesh Nadig, Jisung Park, Rahul Bera, Nastaran Hajinazar, David Novo, Juan G\'omez-Luna, Sander Stuijk, Henk Corporaal, Onur Mutlu | (参考訳) ハイブリッドストレージシステム(HSS)は、複数の異なるストレージデバイスを使用して、高性能でスケーラブルなストレージ容量を提供する。
近年,「最適な」記憶装置に配置する性能クリティカルなデータを正確に識別する手法が提案されている。
残念なことに、これらの技術のほとんどは厳格であり、(1)幅広いワークロードやストレージデバイスの構成でうまく機能するように適応性を制限し、(2)デザイナーが設計した構成よりも異なるストレージシステム構成(例えば、異なる数や異なるタイプのストレージデバイス)にこれらの技術を拡張することが困難である。
ハイブリッドストレージシステムにおけるデータ配置に強化学習を利用する最初の手法であるSibylを紹介する。
Sibylは実行中のワークロードのさまざまな機能とストレージデバイスを観察して、システム対応のデータ配置決定を行う。
Sibylは、意思決定の長期的なパフォーマンスへの影響を評価し、データ配置ポリシーをオンラインで継続的に最適化するために、システムから報酬を受け取っている。
我々は様々なHSS構成で実システム上でSibylを実装している。
その結果、sibylはパフォーマンス指向/コスト指向のhss構成における21.6%/19.9%の性能改善を提供することがわかった。
3つの異なるストレージデバイスを備えたHSS構成を用いて評価したところ、Sibylは最先端のデータ配置ポリシーを23.9%-48.2%向上させ、同時に3つのストレージデバイスを組み込むデータ配置機構を設計する際のシステムアーキテクトの負担を大幅に低減した。
そこで我々は,Sibylが将来的なアクセスパターンを十分に把握し,ストレージのオーバーヘッドをわずか124.4KiBに抑えながら,その性能の80%をSibylが達成していることを示す。 Hybrid storage systems (HSS) use multiple different storage devices to provide high and scalable storage capacity at high performance. Recent research proposes various techniques that aim to accurately identify performance-critical data to place it in a "best-fit" storage device. Unfortunately, most of these techniques are rigid, which (1) limits their adaptivity to perform well for a wide range of workloads and storage device configurations, and (2) makes it difficult for designers to extend these techniques to different storage system configurations (e.g., with a different number or different types of storage devices) than the configuration they are designed for. We introduce Sibyl, the first technique that uses reinforcement learning for data placement in hybrid storage systems. Sibyl observes different features of the running workload as well as the storage devices to make system-aware data placement decisions. For every decision it makes, Sibyl receives a reward from the system that it uses to evaluate the long-term performance impact of its decision and continuously optimizes its data placement policy online. We implement Sibyl on real systems with various HSS configurations. Our results show that Sibyl provides 21.6%/19.9% performance improvement in a performance-oriented/cost-oriented HSS configuration compared to the best previous data placement technique. Our evaluation using an HSS configuration with three different storage devices shows that Sibyl outperforms the state-of-the-art data placement policy by 23.9%-48.2%, while significantly reducing the system architect's burden in designing a data placement mechanism that can simultaneously incorporate three storage devices. We show that Sibyl achieves 80% of the performance of an oracle policy that has complete knowledge of future access patterns while incurring a very modest storage overhead of only 124.4 KiB. | 翻訳日:2022-05-17 15:04:26 公開日:2022-05-15 |
| # 広範囲ゲームにおける相関平衡のサンプル効率学習 Sample-Efficient Learning of Correlated Equilibria in Extensive-Form Games ( http://arxiv.org/abs/2205.07223v1 ) ライセンス: Link先を確認 | Ziang Song, Song Mei, Yu Bai | (参考訳) Imperfect-Information Extensive-Form Games (IIEFG) は、不完全情報とシーケンシャルプレイを含む現実世界のゲームにおいて一般的なモデルである。
Extensive-Form Correlated Equilibrium (EFCE) はマルチプレイヤー汎用IIEFGの自然解の概念として提案されている。
しかし、既存のEFCEを見つけるアルゴリズムはゲームからの完全なフィードバックを必要としており、繰り返しプレイすることでしかゲームが学べないより困難な帯域幅フィードバック環境で、EFCEを効率的に学習する方法は依然としてオープンである。
本稿では,バンドフィードバックからEFCEを学習するための最初のサンプル効率アルゴリズムを提案する。
より一般化された定義である$K$-EFCEの提案から始めます。
K$-EFCE は EFCE を特殊ケースとして$K=1$ を含み、K$ が増加するにつれて平衡の概念がより厳格になる。
そして、$\widetilde{\mathcal{o}}(\max_{i}x_ia_i^{k}/\varepsilon^2)$の完全なフィードバック設定で、$x_i$ と $a_i$ が$i$-th プレーヤーの情報セットとアクションの数であるような、非結合な no-regret アルゴリズムを設計する。
我々のアルゴリズムは、全てのレコメンデーション履歴を考慮に入れた各情報集合に対する幅広い後悔を最小化する。
最後に、このアルゴリズムのサンプルベース変種を設計し、バンドイットフィードバック設定におけるプレイのエピソードを$\widetilde{\mathcal{o}}(\max_{i}x_ia_i^{k+1}/\varepsilon^2)$で学習する。
K=1$に特化すると、バンディットフィードバックからEFCEを学習するための最初のサンプル効率のアルゴリズムが得られる。 Imperfect-Information Extensive-Form Games (IIEFGs) is a prevalent model for real-world games involving imperfect information and sequential plays. The Extensive-Form Correlated Equilibrium (EFCE) has been proposed as a natural solution concept for multi-player general-sum IIEFGs. However, existing algorithms for finding an EFCE require full feedback from the game, and it remains open how to efficiently learn the EFCE in the more challenging bandit feedback setting where the game can only be learned by observations from repeated playing. This paper presents the first sample-efficient algorithm for learning the EFCE from bandit feedback. We begin by proposing $K$-EFCE -- a more generalized definition that allows players to observe and deviate from the recommended actions for $K$ times. The $K$-EFCE includes the EFCE as a special case at $K=1$, and is an increasingly stricter notion of equilibrium as $K$ increases. We then design an uncoupled no-regret algorithm that finds an $\varepsilon$-approximate $K$-EFCE within $\widetilde{\mathcal{O}}(\max_{i}X_iA_i^{K}/\varepsilon^2)$ iterations in the full feedback setting, where $X_i$ and $A_i$ are the number of information sets and actions for the $i$-th player. Our algorithm works by minimizing a wide-range regret at each information set that takes into account all possible recommendation histories. Finally, we design a sample-based variant of our algorithm that learns an $\varepsilon$-approximate $K$-EFCE within $\widetilde{\mathcal{O}}(\max_{i}X_iA_i^{K+1}/\varepsilon^2)$ episodes of play in the bandit feedback setting. When specialized to $K=1$, this gives the first sample-efficient algorithm for learning EFCE from bandit feedback. | 翻訳日:2022-05-17 15:02:52 公開日:2022-05-15 |
| # 構成データを用いた教師付き学習とモデル解析 Supervised Learning and Model Analysis with Compositional Data ( http://arxiv.org/abs/2205.07271v1 ) ライセンス: Link先を確認 | Shimeng Huang, Elisabeth Ailer, Niki Kilbertus, Niklas Pfister | (参考訳) 高スループットのシークエンシングデータの合成性とスパース性は、回帰と分類の課題となる。
しかし、特に微生物学的研究において、条件モデリングは表現型と微生物の関係を調査するための重要なツールである。
既存の技術は、しばしば不十分である:それらは線形対数コントラストモデルの拡張(構成性を調整するが、有用な信号をキャプチャできないことが多い)に依存するか、あるいはブラックボックスの機械学習手法(有用な信号をキャプチャするが、下流分析では構成性を無視する)に基づいている。
コンポジションデータのためのカーネルベースの非パラメトリック回帰および分類フレームワークであるKernelBiomeを提案する。
構成データを疎結合に調整し、系統構造のような事前の知識を組み込むことができる。
KernelBiomeはゼロ構造を含む複雑な信号をキャプチャし、モデルの複雑さを自動的に適応する。
最先端の機械学習手法と比較して,予測性能の向上や性能向上を実証する。
さらに、我々のフレームワークには2つの大きな利点があります。
(i)個々の成分の寄与を解釈する2つの新しい量を提案し,条件付き平均の平均摂動効果を一貫して推定し,線形対数コントラストモデルの非パラメトリックモデルへの解釈可能性を拡張する。
(II)カーネルと距離の接続は解釈可能性に寄与し,さらなる解析を増強するデータ駆動型埋め込みを提供することを示す。
最後に,2つの公衆マイクロバイオーム研究にkernelbiomeフレームワークを適用し,提案するモデル解析について述べる。
KernelBiomeはオープンソースのPythonパッケージとしてhttps://github.com/shimenghuang/KernelBiomeで入手できる。 The compositionality and sparsity of high-throughput sequencing data poses a challenge for regression and classification. However, in microbiome research in particular, conditional modeling is an essential tool to investigate relationships between phenotypes and the microbiome. Existing techniques are often inadequate: they either rely on extensions of the linear log-contrast model (which adjusts for compositionality, but is often unable to capture useful signals), or they are based on black-box machine learning methods (which may capture useful signals, but ignore compositionality in downstream analyses). We propose KernelBiome, a kernel-based nonparametric regression and classification framework for compositional data. It is tailored to sparse compositional data and is able to incorporate prior knowledge, such as phylogenetic structure. KernelBiome captures complex signals, including in the zero-structure, while automatically adapting model complexity. We demonstrate on par or improved predictive performance compared with state-of-the-art machine learning methods. Additionally, our framework provides two key advantages: (i) We propose two novel quantities to interpret contributions of individual components and prove that they consistently estimate average perturbation effects of the conditional mean, extending the interpretability of linear log-contrast models to nonparametric models. (ii) We show that the connection between kernels and distances aids interpretability and provides a data-driven embedding that can augment further analysis. Finally, we apply the KernelBiome framework to two public microbiome studies and illustrate the proposed model analysis. KernelBiome is available as an open-source Python package at https://github.com/shimenghuang/KernelBiome. | 翻訳日:2022-05-17 15:02:09 公開日:2022-05-15 |
| # 等価ニューラルネットワークとは何か? What is an equivariant neural network? ( http://arxiv.org/abs/2205.07362v1 ) ライセンス: Link先を確認 | Lek-Heng Lim and Bradley J. Nelson | (参考訳) 本稿では,コンピュータビジョンのための深層畳み込みニューラルネットワークから,等価性やニューラルネットワークの知識を前提にせず,タンパク質構造予測のためのアルファフォールド2まで,機械学習の基礎となる概念である同変ニューラルネットワークについて述べる。
基本的な数学的アイデアは単純であるが、実践的な実現をもたらす工学的な複雑さによってしばしば曖昧にされる。
我々は、数学的な側面を抽出し、焦点を絞って、最後には工学的な問題を扱います。 We explain equivariant neural networks, a notion underlying breakthroughs in machine learning from deep convolutional neural networks for computer vision to AlphaFold 2 for protein structure prediction, without assuming knowledge of equivariance or neural networks. The basic mathematical ideas are simple but are often obscured by engineering complications that come with practical realizations. We extract and focus on the mathematical aspects, and limit ourselves to a cursory treatment of the engineering issues at the end. | 翻訳日:2022-05-17 15:00:26 公開日:2022-05-15 |
| # 医療画像のための生成型adversarial networkと人工知能を用いたcovid-19対策:スコーピングレビュー Combating COVID-19 using Generative Adversarial Networks and Artificial Intelligence for Medical Images: A Scoping Review ( http://arxiv.org/abs/2205.07236v1 ) ライセンス: Link先を確認 | Hazrat Ali and Zubair Shah | (参考訳) 本総説では、新型コロナウイルスのデータの不足と診断に関する課題に取り組む上で、GANが果たす役割について包括的に研究する。
GANsの異なる方法と、COVID-19用の肺画像データセットをまとめた最初のレビューである。
GANの応用、一般的なGANアーキテクチャ、頻繁に使用される画像のモダリティ、ソースコードの可用性に関する質問に答えようとしている。
このレビューには、新型コロナウイルス(COVID-19)の肺画像データに異なる用途にGANを使用することを報告した57のフルテキスト研究が含まれている。
研究の大半(n=42)は、データ拡張にGANを使用して、新型コロナウイルスの診断にAI技術の性能を高めた。
ganの他の一般的な用途は、肺のセグメンテーションと肺画像の超解像であった。
サイクルGANと条件付きGANは、9つの研究で最もよく使われているアーキテクチャである。
29研究は胸部x線画像を用い,21研究はガンの訓練にct画像を用いた。
ほとんどの研究(n=47)では実験が行われ、結果は公開データを用いて報告された。
放射線科医/クリニシアンによる結果の二次的な評価は2つの研究で報告された。
結語:研究により、ganはcovid-19の肺画像のデータ不足に対処できる可能性が非常に高いことが示されている。
GANで合成されたデータは、新型コロナウイルスの診断のために訓練された畳み込みニューラルネットワーク(CNN)モデルのトレーニングを改善するのに役立つ。
さらに、GANは画像とセグメンテーションの超高解像度化を通じてCNNのパフォーマンス向上にも貢献している。
このレビューは、臨床応用におけるgansベースの方法の潜在的な変換の鍵となる制限も明らかにした。 This review presents a comprehensive study on the role of GANs in addressing the challenges related to COVID-19 data scarcity and diagnosis. It is the first review that summarizes the different GANs methods and the lungs images datasets for COVID-19. It attempts to answer the questions related to applications of GANs, popular GAN architectures, frequently used image modalities, and the availability of source code. This review included 57 full-text studies that reported the use of GANs for different applications in COVID-19 lungs images data. Most of the studies (n=42) used GANs for data augmentation to enhance the performance of AI techniques for COVID-19 diagnosis. Other popular applications of GANs were segmentation of lungs and super-resolution of the lungs images. The cycleGAN and the conditional GAN were the most commonly used architectures used in nine studies each. 29 studies used chest X-Ray images while 21 studies used CT images for the training of GANs. For majority of the studies (n=47), the experiments were done and results were reported using publicly available data. A secondary evaluation of the results by radiologists/clinicians was reported by only two studies. Conclusion: Studies have shown that GANs have great potential to address the data scarcity challenge for lungs images of COVID-19. Data synthesized with GANs have been helpful to improve the training of the Convolutional Neural Network (CNN) models trained for the diagnosis of COVID-19. Besides, GANs have also contributed to enhancing the CNNs performance through the super-resolution of the images and segmentation. This review also identified key limitations of the potential transformation of GANs based methods in clinical applications. | 翻訳日:2022-05-17 14:58:42 公開日:2022-05-15 |
| # RoMFAC:国家に対する敵対的摂動に対するロバストな平均的アクター批判強化学習 RoMFAC: A Robust Mean-Field Actor-Critic Reinforcement Learning against Adversarial Perturbations on States ( http://arxiv.org/abs/2205.07229v1 ) ライセンス: Link先を確認 | Ziyuan Zhou and Guanjun Liu | (参考訳) マルチエージェントシステムの深層強化学習法は、エージェントが観察する状態に依存する最適決定を下すが、観測に対する不確実性は、エージェントが間違った行動を取るように誤解させる可能性がある。
平均場アクター批判強化学習(MFAC)は,スケーラビリティ問題に効果的に対処できるため,マルチエージェント分野で非常に有名である。
しかし,本稿では,チーム報酬を著しく低下させる状態摂動にも敏感であることがわかった。
本稿では,2つのイノベーションを持つMFACのための堅牢な学習フレームワークRoMFACを提案する。
1)サンプリングされたクリーン状態の累積割引報酬に関連する「emph{policy gradient function」と、クリーン状態と敵対状態の行動の差を表す「emph{action loss function」とからなる、トレーニングアクターの新たな客観的機能。
2) 訓練されたアクタが良好なパフォーマンスを得るための行動損失の反復的な規則化。
さらに,提案した動作損失関数が収束していることを示す。
実験により,RoMFACは対向摂動に対して頑健であり,摂動のない環境での良好な性能を維持していることが示された。 Deep reinforcement learning methods for multi-agent systems make optimal decisions dependent on states observed by agents, but a little uncertainty on the observations can possibly mislead agents into taking wrong actions. The mean-field actor-critic reinforcement learning (MFAC) is very famous in the multi-agent field since it can effectively handle the scalability problem. However, this paper finds that it is also sensitive to state perturbations which can significantly degrade the team rewards. This paper proposes a robust learning framework for MFAC called RoMFAC that has two innovations: 1) a new objective function of training actors, composed of a \emph{policy gradient function} that is related to the expected cumulative discount reward on sampled clean states and an \emph{action loss function} that represents the difference between actions taken on clean and adversarial states; and 2) a repetitive regularization of the action loss that ensures the trained actors obtain a good performance. Furthermore, we prove that the proposed action loss function is convergent. Experiments show that RoMFAC is robust against adversarial perturbations while maintaining its good performance in environments without perturbations. | 翻訳日:2022-05-17 14:29:07 公開日:2022-05-15 |
| # 仮説的介入による臨床結果予測--反実的推論のための表現学習フレームワーク Clinical outcome prediction under hypothetical interventions -- a representation learning framework for counterfactual reasoning ( http://arxiv.org/abs/2205.07234v1 ) ライセンス: Link先を確認 | Yikuan Li, Mohammad Mamouei, Shishir Rao, Abdelaali Hassaine, Dexter Canoy, Thomas Lukasiewicz, Kazem Rahimi, Gholamreza Salimi-Khorshidi | (参考訳) ほとんどの機械学習(ML)モデルは予測のみのために開発され、予測やパラメータ/プロパティの因果解釈の選択肢は提供されない。
これは、仮説的調査(すなわち、反事実的推論/説明)による結果を予測する必要性と欲求が高い臨床意思決定プロセスにおいて、MLモデルを採用する健康システムの能力を阻害する可能性がある。
本研究では,新たな表現学習フレームワーク(部分的概念ボトルネック)を導入し,リスクモデルの組込み特性として対実的説明の提供を検討する。
予測精度と対実的推論を協調的に最適化するために必要なアーキテクチャ的変化にもかかわらず、我々の手法の精度は予測のみのモデルに匹敵する。
以上の結果から,提案フレームワークは,研究者や臨床医のパーソナライズドケア(介入の仮説的差異など)の改善に役立つ可能性が示唆された。 Most machine learning (ML) models are developed for prediction only; offering no option for causal interpretation of their predictions or parameters/properties. This can hamper the health systems' ability to employ ML models in clinical decision-making processes, where the need and desire for predicting outcomes under hypothetical investigations (i.e., counterfactual reasoning/explanation) is high. In this research, we introduce a new representation learning framework (i.e., partial concept bottleneck), which considers the provision of counterfactual explanations as an embedded property of the risk model. Despite architectural changes necessary for jointly optimising for prediction accuracy and counterfactual reasoning, the accuracy of our approach is comparable to prediction-only models. Our results suggest that our proposed framework has the potential to help researchers and clinicians improve personalised care (e.g., by investigating the hypothetical differential effects of interventions) | 翻訳日:2022-05-17 14:28:48 公開日:2022-05-15 |
| # 多階相互作用によるグラフニューラルネットワークの表現基盤の発見 Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions ( http://arxiv.org/abs/2205.07266v1 ) ライセンス: Link先を確認 | Fang Wu, Siyuan Li, Lirong Wu, Stan Z. Li, Dragomir Radev, Qiang Zhang | (参考訳) ほとんどのグラフニューラルネットワーク(GNN)は、ノードの特徴を伝達し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。
最近の研究は、異なるグラフ学習タスクはノード間の相互作用の幅が異なることを指摘している。
その根底にあるメカニズムを調べるため、gnnは複雑度が異なる状況下で、特に生物化学や物理学などの科学分野におけるグラフレベルおよびノードレベルの応用において、ノード間の対的な相互作用を捉えることができる。
ペアワイズ相互作用を定式化する際には、科学領域における2つの共通グラフ構築法、すなわち \emph{K-nearest neighbor} (KNN) グラフと \emph{fully-connected} (FC) グラフを研究する。
さらに、KNNグラフとFCグラフが導入した帰納バイアスは、GNNが最も情報に富む相互作用の順序を知るのを妨げることを示した。
このような現象は、異なるグラフ学習タスクのために複数のgnnによって広く共有され、グローバル最小損失を達成するためにgnnを禁止するので、これを \emph{representation bottleneck} と呼ぶ。
そこで本研究では,各ノードの受信フィールドを動的に調整する,ペアの相互作用強度に基づくグラフ再構成手法を提案する。
分子特性予測と動的システム予測に関する広範な実験により,最先端のgnnベースラインよりも優れた手法が証明された。
より重要なことは、なぜサブグラフがグラフ特性の決定において重要な役割を果たすのかを合理的に説明することである。 Most graph neural networks (GNNs) rely on the message passing paradigm to propagate node features and build interactions. Recent works point out that different graph learning tasks require different ranges of interactions between nodes. To investigate its underlying mechanism, we explore the capacity of GNNs to capture pairwise interactions between nodes under contexts with different complexities, especially for their graph-level and node-level applications in scientific domains like biochemistry and physics. When formulating pairwise interactions, we study two common graph construction methods in scientific domains, i.e., \emph{K-nearest neighbor} (KNN) graphs and \emph{fully-connected} (FC) graphs. Furthermore, we demonstrate that the inductive bias introduced by KNN-graphs and FC-graphs hinders GNNs to learn the most informative order of interactions. {Such a phenomenon is broadly shared by several GNNs for different graph learning tasks and forbids GNNs to achieve the global minimum loss, so we name it a \emph{representation bottleneck}.} To overcome that, we propose a novel graph rewiring approach based on the pairwise interaction strengths to dynamically adjust the reception fields of each node. Extensive experiments in molecular property prediction and dynamic system forecast prove the superiority of our method over state-of-the-art GNN baselines. More importantly, this paper provides a reasonable explanation of why subgraphs play an important role in the determination of graph properties. | 翻訳日:2022-05-17 14:28:31 公開日:2022-05-15 |
| # 属性保護のためのKendallランク相関とコサイン類似性の関係の解明 Exploiting the Relationship Between Kendall's Rank Correlation and Cosine Similarity for Attribution Protection ( http://arxiv.org/abs/2205.07279v1 ) ライセンス: Link先を確認 | Fan Wang, Adams Wai-Kin Kong | (参考訳) モデル帰属はディープニューラルネットワークにおいて、モデルを理解するのに役立つため重要であるが、最近の研究では、入力に知覚不能なノイズを加えることで、帰属が容易に摂動できることが示されている。
微分不能なケンドールのランク相関は帰属保護のための重要なパフォーマンス指標である。
本稿では,まず,期待されるケンドールのランク相関がコサインの類似性に正の相関を示すとともに,帰属方向が帰属ロバストネスの鍵となることを示す。
これらの知見に基づき, 帰属のベクトル空間を探索し, $\ell_p$ ノルムを用いた帰属防衛手法の欠点を説明するとともに, 自然と摂動帰属のコサイン類似性を最大化する統合勾配正規化器 (IGR) を提案する。
以上の結果から,igrは自然試料とそれに対応する摂動試料に対して同じ活性化状態のニューロンを誘導し,勾配に基づく帰属法にロバスト性をもたらすことが明らかとなった。
異なるモデルとデータセットに関する実験により,帰属保護に関する分析が確認され,敵のロバスト性が良好に向上したことを示す。 Model attributions are important in deep neural networks as they aid practitioners in understanding the models, but recent studies reveal that attributions can be easily perturbed by adding imperceptible noise to the input. The non-differentiable Kendall's rank correlation is a key performance index for attribution protection. In this paper, we first show that the expected Kendall's rank correlation is positively correlated to cosine similarity and then indicate that the direction of attribution is the key to attribution robustness. Based on these findings, we explore the vector space of attribution to explain the shortcomings of attribution defense methods using $\ell_p$ norm and propose integrated gradient regularizer (IGR), which maximizes the cosine similarity between natural and perturbed attributions. Our analysis further exposes that IGR encourages neurons with the same activation states for natural samples and the corresponding perturbed samples, which is shown to induce robustness to gradient-based attribution methods. Our experiments on different models and datasets confirm our analysis on attribution protection and demonstrate a decent improvement in adversarial robustness. | 翻訳日:2022-05-17 14:28:04 公開日:2022-05-15 |
| # 予測パリティ下におけるフェアベイズ最適分類器 Fair Bayes-Optimal Classifiers Under Predictive Parity ( http://arxiv.org/abs/2205.07182v1 ) ライセンス: Link先を確認 | Xianli Zeng, Edgar Dobriban and Guang Cheng | (参考訳) AIの異なる影響に対する懸念の高まりは、公正な機械学習への多大な取り組みを動機付けている。
既存の研究は、主に独立と分離に基づく尺度(例えば、人口比率、機会の平等、均等化確率)に焦点を当て、一方、予測パリティのような十分に基づく尺度は、研究がより少ない。
本稿では,異なる保護群間での正の予測から,成功確率を等化する必要がある予測パリティについて考察する。
異なるグループの全体的な性能が適度にしか変化しない場合、予測パリティの下でのフェアベイズ最適分類器は全てグループごとのしきい値化規則である。
このケースでは、保護されたグループ間の予測パリティがグループ内の不公平につながる可能性があることに気付きます。
次にfairbayes-dpp (fairbayes-dpp) と呼ばれるアルゴリズムを提案する。
FairBayes-DPPは、精度を最大化しつつ、予測パリティを達成することを目的とした適応しきい値アルゴリズムである。
合成データおよび実験データを用いた支援実験を行う。 Increasing concerns about disparate effects of AI have motivated a great deal of work on fair machine learning. Existing works mainly focus on independence- and separation-based measures (e.g., demographic parity, equality of opportunity, equalized odds), while sufficiency-based measures such as predictive parity are much less studied. This paper considers predictive parity, which requires equalizing the probability of success given a positive prediction among different protected groups. We prove that, if the overall performances of different groups vary only moderately, all fair Bayes-optimal classifiers under predictive parity are group-wise thresholding rules. Perhaps surprisingly, this may not hold if group performance levels vary widely; in this case we find that predictive parity among protected groups may lead to within-group unfairness. We then propose an algorithm we call FairBayes-DPP, aiming to ensure predictive parity when our condition is satisfied. FairBayes-DPP is an adaptive thresholding algorithm that aims to achieve predictive parity, while also seeking to maximize test accuracy. We provide supporting experiments conducted on synthetic and empirical data. | 翻訳日:2022-05-17 14:23:27 公開日:2022-05-15 |
| # PAC-ベイズ理論の観点からのロッキーチケット仮説の解析 Analyzing Lottery Ticket Hypothesis from PAC-Bayesian Theory Perspective ( http://arxiv.org/abs/2205.07320v1 ) ライセンス: Link先を確認 | Keitaro Sakamoto, Issei Sato | (参考訳) ロータリーチケット仮説(LTH)が注目されているのは、過パラメータ化モデルが高一般化能力を示す理由を説明できるためである。
初歩の重みから独立して訓練できる高い一般化能力を持つスパースネットワークを見つけるためのアルゴリズムであるイテレーティブ・マグニチュード・プルーニング(imp)を用いると、最初の大きな学習レートはresnetのようなディープニューラルネットワークではうまく動作しないことが知られている。
しかし,初期の大きな学習速度は,最適化者が平らなミニマに収束するのに役立つため,勝利チケットは比較的シャープなミニマであり,一般化能力の面では不利である,という仮説を立てる。
本稿では,この仮説を検証し,pac-ベイズ理論がlthと一般化行動の関係を明確に理解できることを示す。
ラベルノイズの正確性とロバスト性の向上に平坦性が有効であり,また,初期重みからの距離が入賞チケットに深く関与していることから,入賞チケットの分析にspike-and-slab分布を用いたpac-bayesバウンドを提供する。
最後に,PAC-Bayesianの視点から優勝チケットを見つけるための既存のアルゴリズムを再検討し,これらの手法について新たな知見を提供する。 The lottery ticket hypothesis (LTH) has attracted attention because it can explain why over-parameterized models often show high generalization ability. It is known that when we use iterative magnitude pruning (IMP), which is an algorithm to find sparse networks with high generalization ability that can be trained from the initial weights independently, called winning tickets, the initial large learning rate does not work well in deep neural networks such as ResNet. However, since the initial large learning rate generally helps the optimizer to converge to flatter minima, we hypothesize that the winning tickets have relatively sharp minima, which is considered a disadvantage in terms of generalization ability. In this paper, we confirm this hypothesis and show that the PAC-Bayesian theory can provide an explicit understanding of the relationship between LTH and generalization behavior. On the basis of our experimental findings that flatness is useful for improving accuracy and robustness to label noise and that the distance from the initial weights is deeply involved in winning tickets, we offer the PAC-Bayes bound using a spike-and-slab distribution to analyze winning tickets. Finally, we revisit existing algorithms for finding winning tickets from a PAC-Bayesian perspective and provide new insights into these methods. | 翻訳日:2022-05-17 14:23:05 公開日:2022-05-15 |
| # 教師付き学習と自己監督学習のためのプロキシレスニューラルネットワーク適応 Proxyless Neural Architecture Adaptation for Supervised Learning and Self-Supervised Learning ( http://arxiv.org/abs/2205.07168v1 ) ライセンス: Link先を確認 | Do-Guk Kim, Heung-Chang Lee | (参考訳) 最近、Neural Architecture Search (NAS)メソッドが導入され、多くのベンチマークで印象的なパフォーマンスを示している。
これらのnas研究の中で、neural architecture transformer(nat)は、計算コストを維持しながら、与えられたニューラルアーキテクチャをパフォーマンス向上に適応させることを目的としている。
しかし、NATは再現性に欠けており、ネットワークウェイトトレーニングの前に追加のアーキテクチャ適応プロセスが必要である。
本稿では,再現可能かつ効率的なプロキシレスニューラルネットワーク適応法を提案する。
本手法は,教師付き学習と自己教師付き学習の両方に適用できる。
提案手法は,各種アーキテクチャ上での安定した性能を示す。
CIFAR-10とTiny Imagenetの2つのデータセットに対する大規模な再現性実験により、提案手法はNATよりも確実に優れ、他のモデルやデータセットにも適用可能であることが示された。 Recently, Neural Architecture Search (NAS) methods have been introduced and show impressive performance on many benchmarks. Among those NAS studies, Neural Architecture Transformer (NAT) aims to adapt the given neural architecture to improve performance while maintaining computational costs. However, NAT lacks reproducibility and it requires an additional architecture adaptation process before network weight training. In this paper, we propose proxyless neural architecture adaptation that is reproducible and efficient. Our method can be applied to both supervised learning and self-supervised learning. The proposed method shows stable performance on various architectures. Extensive reproducibility experiments on two datasets, i.e., CIFAR-10 and Tiny Imagenet, present that the proposed method definitely outperforms NAT and is applicable to other models and datasets. | 翻訳日:2022-05-17 14:21:31 公開日:2022-05-15 |
| # 減量型MDP : 時間的ホライズンズを超えた展望 Reductive MDPs: A Perspective Beyond Temporal Horizons ( http://arxiv.org/abs/2205.07338v1 ) ライセンス: Link先を確認 | Thomas Spooner, Rui Silva, Joshua Lockhart, Jason Long, Vacslav Glukhov | (参考訳) 一般マルコフ決定過程(MDP)の解法は計算的に難しい問題である。
一方、有限ホライズン MDP の解法は、よく知られた多項式時間アルゴリズムで高度に抽出可能である。
なぜこの極端な格差を引き起こすのか、また、これらの対向する複雑度の間に問題が存在するのか?
本稿では,特定のドリフト条件を満たす一般状態空間に対する確率的最短経路問題(SSP)のサブクラスを特定し,解析する。
この構成は、到達可能性の減少を通じて、伝統的な時間的水平線の概念を一般化する。
退行誘導の延長を通じて、還元的SSPに対する多項式時間で最適ポリシーを復元できることが示され、還元的MDPの効率的な類似性が示される。
提案手法の実用的考察と, 正準最適流動化問題に基づく数値検証について検討した。 Solving general Markov decision processes (MDPs) is a computationally hard problem. Solving finite-horizon MDPs, on the other hand, is highly tractable with well known polynomial-time algorithms. What drives this extreme disparity, and do problems exist that lie between these diametrically opposed complexities? In this paper we identify and analyse a sub-class of stochastic shortest path problems (SSPs) for general state-action spaces whose dynamics satisfy a particular drift condition. This construction generalises the traditional, temporal notion of a horizon via decreasing reachability: a property called reductivity. It is shown that optimal policies can be recovered in polynomial-time for reductive SSPs -- via an extension of backwards induction -- with an efficient analogue in reductive MDPs. The practical considerations of the proposed approach are discussed, and numerical verification provided on a canonical optimal liquidation problem. | 翻訳日:2022-05-17 14:01:06 公開日:2022-05-15 |
| # 消費者金融保護局データに関するトピックモデリング:BERTベースの埋め込みを用いたアプローチ Topic Modelling on Consumer Financial Protection Bureau Data: An Approach Using BERT Based Embeddings ( http://arxiv.org/abs/2205.07259v1 ) ライセンス: Link先を確認 | Vasudeva Raju Sangaraju, Bharath Kumar Bolla, Deepak Kumar Nayak, Jyothsna Kh | (参考訳) 顧客のレビューやコメントは、製品やサービスに対するユーザの感情を理解する上で重要である。
しかし、このデータは、効率的な顧客支援を提供するためにトピックやアスペクトに関連する感情を評価するために分析する必要がある。
LDAとLSAはセマンティックな関係を捉えず、どのドメインにも固有のものではない。
本研究では,消費者金融保護局(CFPB)データへの文埋め込みを用いたトピック生成手法であるBERTopicを評価する。
我々の研究によるとBERTopicは柔軟性があり、LDAやLSAと比べて意味があり多様なトピックを提供している。
さらに、ドメイン固有の事前トレーニングされた埋め込み(FinBERT)により、より優れたトピックが得られる。
コヒーレンススコア(c_v)とUMassについて検討した。 Customers' reviews and comments are important for businesses to understand users' sentiment about the products and services. However, this data needs to be analyzed to assess the sentiment associated with topics/aspects to provide efficient customer assistance. LDA and LSA fail to capture the semantic relationship and are not specific to any domain. In this study, we evaluate BERTopic, a novel method that generates topics using sentence embeddings on Consumer Financial Protection Bureau (CFPB) data. Our work shows that BERTopic is flexible and yet provides meaningful and diverse topics compared to LDA and LSA. Furthermore, domain-specific pre-trained embeddings (FinBERT) yield even better topics. We evaluated the topics on coherence score (c_v) and UMass. | 翻訳日:2022-05-17 14:00:54 公開日:2022-05-15 |
| # 認知から計算モデリングへ:ファジィトレース理論によるテキストに基づくリスク意思決定 From Cognitive to Computational Modeling: Text-based Risky Decision-Making Guided by Fuzzy Trace Theory ( http://arxiv.org/abs/2205.07164v1 ) ライセンス: Link先を確認 | Jaron Mar and Jiamou Liu | (参考訳) リスクのある意思決定の理解、モデリング、予測は、内在的な個人差と不合理性のために難しい。
ファジィトレース理論(英: Fuzzy trace theory、FTT)は、人間の意思決定を説明する強力なパラダイムである。
broniatowski と reyna の ftt 認知モデルに触発されて,基礎となる意味論と感情がテキストに基づく意思決定に与える影響を組み合わせる計算フレームワークを提案する。
特に,カテゴリ2-vectorを導入することで,カテゴリーのギストやカテゴリーの感情を学習し,グループや個人のリスクの高い意思決定を予測するために計算モデルをどのように最適化できるかを実証する。 Understanding, modelling and predicting human risky decision-making is challenging due to intrinsic individual differences and irrationality. Fuzzy trace theory (FTT) is a powerful paradigm that explains human decision-making by incorporating gists, i.e., fuzzy representations of information which capture only its quintessential meaning. Inspired by Broniatowski and Reyna's FTT cognitive model, we propose a computational framework which combines the effects of the underlying semantics and sentiments on text-based decision-making. In particular, we introduce Category-2-Vector to learn categorical gists and categorical sentiments, and demonstrate how our computational model can be optimised to predict risky decision-making in groups and individuals. | 翻訳日:2022-05-17 14:00:26 公開日:2022-05-15 |
| # 適応型プロンプト学習に基づく少数ショット感情分析 Adaptive Prompt Learning-based Few-Shot Sentiment Analysis ( http://arxiv.org/abs/2205.07220v1 ) ライセンス: Link先を確認 | Pengfei Zhang and Tingting Chai and Yongdong Xu | (参考訳) 自然言語処理の分野では、ディープラーニングによる感情分析は大きなラベル付きデータセットを使用することで優れた性能を発揮する。
一方、ラベル付きデータは多くの感情分析では不十分であり、これらのデータを取得するのは時間と労力を要する。
Prompt Learningは、下流のタスクをプロンプトの助けを借りて修正することで、データ不足の解消に全力を注いでいる。
このように、適切なプロンプトはモデルの性能にとって非常に重要である。
本稿では,Seq2seqアテンション構造を用いた適応的プロンプト(AP)構築戦略を提案し,入力シーケンスの意味情報を取得する。
そして、既存のラベル付きデータによって構築された事前学習されたプロンプトによって、プロンプトの品質を向上させるだけでなく、他のフィールドに効果的に一般化できる適応プロンプトを動的に構築する。
FewCLUEデータセットを用いた実験結果から,手作りプロンプトの品質に関わらず,提案手法のAPが適切な適応プロンプトを効果的に構築し,最先端のベースラインより優れていることが示された。 In the field of natural language processing, sentiment analysis via deep learning has a excellent performance by using large labeled datasets. Meanwhile, labeled data are insufficient in many sentiment analysis, and obtaining these data is time-consuming and laborious. Prompt learning devotes to resolving the data deficiency by reformulating downstream tasks with the help of prompt. In this way, the appropriate prompt is very important for the performance of the model. This paper proposes an adaptive prompting(AP) construction strategy using seq2seq-attention structure to acquire the semantic information of the input sequence. Then dynamically construct adaptive prompt which can not only improve the quality of the prompt, but also can effectively generalize to other fields by pre-trained prompt which is constructed by existing public labeled data. The experimental results on FewCLUE datasets demonstrate that the proposed method AP can effectively construct appropriate adaptive prompt regardless of the quality of hand-crafted prompt and outperform the state-of-the-art baselines. | 翻訳日:2022-05-17 14:00:05 公開日:2022-05-15 |
| # 情緒的データによる毒性変性の緩和 : 毒性と共感の関係を探る Mitigating Toxic Degeneration with Empathetic Data: Exploring the Relationship Between Toxicity and Empathy ( http://arxiv.org/abs/2205.07233v1 ) ライセンス: Link先を確認 | Allison Lahnala, Charles Welch, B\'ela Neuendorf, Lucie Flek | (参考訳) 大規模な事前学習されたニューラルネットワークモデルは、多くのNLPタスクの有効性を支持しているが、それでもその使用の安全性を妨げる有害な言語を生成する傾向にある。
共感的データを用いて,生成したテキストの毒性を低減することを目的とした,制御可能なテキスト生成に関する最近の研究を改良する。
また, 従来の2.3mサンプルから最大3.4%の絶対減量(26%の相対値)を, 共感スコアに基づいて戦略的にサンプリングすることで, 最先端の毒性低減効果を著しく向上すると同時に, 微調整データの7.5-30kサンプルまで劇的に縮小できることがわかった。
我々は、改善の度合いが共感の特定のコミュニケーション要素の対象となることを観察する。
特に、共感の認知的要素は、ほとんどすべての実験で元のデータセットを著しく上回り、感情的共感は改善の少ないことと、元のデータのランダムなサンプルを過小評価することと結びついている。
これは、最近まで、そのために構築された研究と資源は、感情的な概念としてのみ共感が考えられているように、NLPの共感に関する研究にとって特に意味のある洞察である。 Large pre-trained neural language models have supported the effectiveness of many NLP tasks, yet are still prone to generating toxic language hindering the safety of their use. Using empathetic data, we improve over recent work on controllable text generation that aims to reduce the toxicity of generated text. We find we are able to dramatically reduce the size of fine-tuning data to 7.5-30k samples while at the same time making significant improvements over state-of-the-art toxicity mitigation of up to 3.4% absolute reduction (26% relative) from the original work on 2.3m samples, by strategically sampling data based on empathy scores. We observe that the degree of improvement is subject to specific communication components of empathy. In particular, the cognitive components of empathy significantly beat the original dataset in almost all experiments, while emotional empathy was tied to less improvement and even underperforming random samples of the original data. This is a particularly implicative insight for NLP work concerning empathy as until recently the research and resources built for it have exclusively considered empathy as an emotional concept. | 翻訳日:2022-05-17 13:59:47 公開日:2022-05-15 |
| # TiBERT:チベット語事前訓練言語モデル TiBERT: Tibetan Pre-trained Language Model ( http://arxiv.org/abs/2205.07303v1 ) ライセンス: Link先を確認 | Yuan Sun, Sisi Liu, Junjie Deng, Xiaobing Zhao | (参考訳) 事前訓練された言語モデルは、大規模な未ラベルテキストで訓練され、多くの下流タスクで最先端の結果を達成することができる。
しかし、現在の事前訓練言語モデルは、主に中国語と英語の分野に集中している。
チベット語のような低資源言語には、単言語事前学習モデルがない。
チベットの自然言語処理タスクの開発を促進するために,チベットのウェブサイトから大規模な学習データを収集し,センテンスピースを用いてコーパス内の単語の99.95$\%をカバーできる語彙を構築する。
そして、データと語彙に基づいてチベット語単言語事前学習言語モデルTiBERTを訓練する。
最後に、テキスト分類と質問生成の下流タスクにTiBERTを適用し、それを古典モデルと多言語事前学習モデルと比較することにより、TiBERTが最高の性能を発揮することを示す。
私たちのモデルはhttp://tibert.cmli-nlp.com/で公開されています The pre-trained language model is trained on large-scale unlabeled text and can achieve state-of-the-art results in many different downstream tasks. However, the current pre-trained language model is mainly concentrated in the Chinese and English fields. For low resource language such as Tibetan, there is lack of a monolingual pre-trained model. To promote the development of Tibetan natural language processing tasks, this paper collects the large-scale training data from Tibetan websites and constructs a vocabulary that can cover 99.95$\%$ of the words in the corpus by using Sentencepiece. Then, we train the Tibetan monolingual pre-trained language model named TiBERT on the data and vocabulary. Finally, we apply TiBERT to the downstream tasks of text classification and question generation, and compare it with classic models and multilingual pre-trained models, the experimental results show that TiBERT can achieve the best performance. Our model is published in http://tibert.cmli-nlp.com/ | 翻訳日:2022-05-17 13:59:12 公開日:2022-05-15 |