このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20201227となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 操作確率論における対称状態の判別 Discrimination of symmetric states in operational probabilistic theory ( http://arxiv.org/abs/2012.13845v1 ) ライセンス: Link先を確認 | Kenji Nakahira | (参考訳) 運転確率論(OPT)における状態判別問題を図式的に検討する。
量子論の場合、状態集合が特定の対称性を持つ場合、同じタイプの対称性を持つ最小エラー測定が存在することはよく知られている。
しかし、我々の知る限り、この性質がより一般的な OPT にも当てはまるかどうかはまだ明らかではない。
また、オプト(英語版)、すなわち対称状態集合に対して、同じ種類の対称性を持つ最小誤差測定が存在することも示している。
また, この結果は, 逐次測定や分離可能な測定など, 限られた種類の測定値に対して最適化できることを示した。 A state discrimination problem in an operational probabilistic theory (OPT) is investigated in diagrammatic terms. It is well-known that, in the case of quantum theory, if a state set has a certain symmetry, then there exists a minimum-error measurement having the same type of symmetry. However, to our knowledge, it is not yet clear whether this property also holds in a more general OPT. We show that it also holds in OPTs, i.e., for a symmetric state set, there exists a minimum-error measurement that has the same type of symmetry. It is also shown that this result can be utilized to optimize over a restricted class of measurements, such as sequential or separable measurements. | 翻訳日:2023-04-19 04:11:30 公開日:2020-12-27 |
| # 非線形ゲージ結合量子流体におけるゲージ変換とガリレオ共分散 Gauge transformations and Galilean covariance in nonlinear gauge-coupled quantum fluids ( http://arxiv.org/abs/2012.13836v1 ) ライセンス: Link先を確認 | Yvan Buggy and Patrik \"Ohberg | (参考訳) 非線形ゲージポテンシャルを受ける量子流体の不変性について検討する。
特に、時空ガリレオブーストの下での非線形ポテンシャルの共変変換則を導出し、U(1)ゲージ変換を考える。
流体力学の正準場方程式は、外部ゲージ関数の場合は形式不変であるが、非線形ゲージ汎関数に対してはそうではない。
したがって、非線形ゲージポテンシャルは「ゲージアウト」ではない非自明なポテンシャルである。
特に、1次元超流体の場合、ハミルトン密度の流体のゲージ圧を発生させようとする。
さらに,任意のガリレオ変換の下での場方程式の変換について検討する。
ガリレオ共分散の直接の欠如は、外部スカラーとベクトルポテンシャルに結合したシュル=オディンガー粒子のそれと同じ形のポテンシャルに対して適切に選択された変換規則の下で復元される。 We investigate certain invariance properties of quantum fluids subject to a nonlinear gauge potential. In particular, we derive the covariant transformation laws for the nonlinear potentials under a space-time Galilean boost and consider U(1) gauge transformations. We find that the hydrodynamic canonical field equations are form-invariant in the case of external gauge functions, but not for nonlinear gauge functionals. Hence, nonlinear gauge potentials are non-trivial potentials which may not be "gauged-away". Notably, for a 1D superfluid, attempting to do so generates the gauge-pressure of the fluid in the Hamiltonian density. Further, we investigate how the field equations transform under arbitrary Galilean transformations. We find that the immediate lack of Galilean covariance is restored under a suitably chosen transformation rule set for the potentials, which is identical in form to that of a Schr\"odinger particle coupled to external scalar and vector potentials. | 翻訳日:2023-04-19 04:11:00 公開日:2020-12-27 |
| # Isabelle/HOLにおける認証量子計算 Certified Quantum Computation in Isabelle/HOL ( http://arxiv.org/abs/2012.13925v1 ) ライセンス: Link先を確認 | Anthony Bordg, Hanna Lachnitt, Yijun He | (参考訳) 本稿では,量子アルゴリズムの形式化と,証明アシスタントであるisabelle/holを用いた量子情報理論の結果について述べる。
形式的手法は,アルゴリズムやプロトコルの安全性や安全性に重要であり,将来量子コンピューティングに広く利用されることを予見する。
我々は,量子回路の行列表現に基づくイザベルの量子計算のための大規模ライブラリを開発し,非閉包定理,量子テレポーテーション,deutschのアルゴリズム,deutsch-jozsaアルゴリズム,量子囚人のジレンマを定式化した。
我々は、量子ゲーム理論の分野における我々の研究成果について、その設計選択と報告について論じる。 In this article we present an ongoing effort to formalise quantum algorithms and results in quantum information theory using the proof assistant Isabelle/HOL. Formal methods being critical for the safety and security of algorithms and protocols, we foresee their widespread use for quantum computing in the future. We have developed a large library for quantum computing in Isabelle based on a matrix representation for quantum circuits, successfully formalising the no-cloning theorem, quantum teleportation, Deutsch's algorithm, the Deutsch-Jozsa algorithm and the quantum Prisoner's Dilemma. We discuss the design choices made and report on an outcome of our work in the field of quantum game theory. | 翻訳日:2023-04-19 04:07:57 公開日:2020-12-27 |
| # 最大$\psi$-epistemic ontological modelの2つの定義と非文脈性の作成 Two definitions of maximally $\psi$-epistemic ontological model and preparation non-contextuality ( http://arxiv.org/abs/2012.13881v1 ) ライセンス: Link先を確認 | A. K. Pan | (参考訳) オントロジーモデルは、任意の2つの量子状態間の重なりが、それぞれのオントロジー状態の確率分布の重なりによって完全に説明されているとき、最大で$\psi$-epistemic と呼ばれる。
しかし、文学において、最大値$\psi$-epistemicity(英語版)の同値な概念を捉える2つの異なる数学的定義(ここでは 1M$\psi$E と 2M$\psi$E と定義する)が存在する。
本研究では,非文脈性準備と最大$\psi$-エピステミシティの2つの定義との関係を批判的に検討する3つの定理を提案する。
Theorem-1 では、既存の証明の単純かつ直接的な議論を行い、混合状態準備非コンテキスト性が最大$\psi$-epistemicity の最初の定義を意味することを示す。
theorem-2 において、最大値 $\psi$-epistemicity の第二の定義は純粋状態準備非文脈性を意味することを証明する。
両方の定義が最大$\psi$-epistemicityの同値な概念をつかむなら、上記の2つの定理から、混合状態準備非コンテキスト性は純粋状態準備非コンテキスト性を意味すると推測する。
しかし、Theorem-3において、オントロジモデルにおける混合状態準備の非コンテクスト性は純粋状態の文脈性と逆転を意味することを示す。
これは 1M$\psi$E と 2M$\psi$E が極大$\psi$-epistemicity の非同値な概念を捉えていると結論付ける。
結果と他のノーゴー定理との関係について論じる。 An ontological model is termed as maximally $\psi$-epistemic if the overlap between any two quantum states is fully accounted for by the overlap of their respective probability distributions of ontic states. However, in literature, there exists the two different mathematical definitions (termed here as 1M$\psi$E and 2M$\psi$E) that capture the equivalent notion of maximal $\psi$-epistemicity. In this work, we provide three theorems to critically examine the connections between preparation non-contextuality and the aforementioned two definitions of maximal $\psi$- epistemicity. In Theorem-1, we provide a simple and direct argument of an existing proof to demonstrate that the mixed state preparation non-contextuality implies the first definition of maximal $\psi$-epistemicity. In Theorem-2, we prove that the second definition of maximal $\psi$-epistemicity implies pure-state preparation non-contextuality. If both the definitions capture the equivalent notion of maximal $\psi$-epistemicity then from the aforementioned two theorems one infers that the mixed-state preparation non-contextuality implies pure-state preparation non-contextuality. But, in Theorem-3, we demonstrate that the mixed-state preparation non-contextuality in an ontological model implies pure-state contextuality and vice-versa. This leads one to conclude that 1M$\psi$E and 2M$\psi$E capture inequivalent notion of maximal $\psi$-epistemicity. The implications of our results and their connections to other no-go theorems are discussed. | 翻訳日:2023-04-19 04:07:12 公開日:2020-12-27 |
| # L$\ddot{u}$der rule, von Neumann rule and Cirelson's bound of Bell CHSH inequality L$\ddot{u}$der rule, von Neumann rule and Cirelson's bound of Bell CHSH inequality ( http://arxiv.org/abs/2012.13880v1 ) ライセンス: Link先を確認 | Asmita Kumari and A. K. Pan | (参考訳) 著者らは[prl, 113, 050401 (2014)] において、l$\ddot{u}$der 規則の代わりに、デジェネラシーを破るフォン・ノイマン射影規則が状態減少に採用されると、3回レゲット・ガルグ不等式(英語版)の量子値は l$\ddot{u}$ders の境界を超えることができることを示した。
L$\ddot{u}$ders 境界のそのような違反は、システムサイズの漸近極限における不等式の代数的最大値にアプローチするかもしれない。
彼らはまた、Cluser-Horne-Shimony-Holt (CHSH) の不等式について、そのような L$\ddot{u}$ders bound (Cirelson's bound) の違反は、Alice と Bob によって次々に測定されたとしても得られないと主張している。
この論文では、フォン・ノイマン射影則が用いられる場合、CHSHの不等式の量子境界はシェルソンの有界を超え、代数的最大値4に達する可能性があることを示した。
これにより、フォン・ノイマン則が有効な状態還元則として実現可能であることに強く反対する。
さらに、フォン・ノイマン測定規則を実行する行為によって追加の量子非局所性が注入されることによって、シレルソン境界の破れが生じることを指摘した。 In [PRL, 113, 050401 (2014)] the authors have shown that instead of L$\ddot{u}$der rule, if degeneracy breaking von Neumann projection rule is adopted for state reduction, the quantum value of three-time Leggett-Garg inequality can exceed it's L$\ddot{u}$ders bound. Such violation of L$\ddot{u}$ders bound may even approach algebraic maximum of the inequality in the asymptotic limit of system size. They also claim that for Clauser-Horne-Shimony-Holt (CHSH) inequality such violation of L$\ddot{u}$ders bound (known as Cirelson's bound) cannot be obtained even when the measurement is performed sequentially first by Alice followed by Bob. In this paper, we have shown that if von Neumann projection rule is used, quantum bound of CHSH inequality exceeds it's Cirelson's bound and may also reach its algebraic maximum four. This thus provide a strong objection regarding the viability of von Neumann rule as a valid state reduction rule. Further, we pointed out that the violation of Cirelson's bound occurs due to the injection of additional quantum non-locality by the act of implementing von Neumann measurement rule. | 翻訳日:2023-04-19 04:06:43 公開日:2020-12-27 |
| # Kochen-Speckerの文脈性証明を用いた半デバイス独立ランダム性証明 Semi-device independent randomness certification using Mermin's proof of Kochen-Specker contextuality ( http://arxiv.org/abs/2012.13878v1 ) ライセンス: Link先を確認 | A. K. Pan | (参考訳) ランダム性は暗号、シミュレーション、アルゴリズムの潜在的な資源である。
ベルの不等式に違反する非局所相関は、デバイスに依存しない方法でランダム性を保証するビット文字列の生成を証明している。
我々は、Kochen-Specker (KS) の文脈性による、興味深い半デバイス独立ランダム性認証プロトコルを提供する。
そこで我々はまず,Merminの2ビットシステムにおけるKSコンテキスト性のマジック2乗証明を,準備シナリオにおける半デバイス独立通信ゲームとしてキャストした。
これは、2ビットのランダム性の半デバイス独立認証を提供する。
さらに、メルミンの3量子系を含むKS定理のマジックスター証明を用いて、3ビットのランダム性を証明する。
我々の提案は、高次元システムに有効な文脈性のKS証明を通じて任意のランダム性のビットを証明するために拡張できると推測する。 Randomness is a potential resource for cryptography, simulations and algorithms. Non-local correlations violating Bell's inequality certify the generation of bit strings whose randomness is guaranteed in a device-independent manner. We provide interesting semi-device independent randomness certification protocols by Kochen-Specker (KS) contextuality. For this, we first cast the Mermin's magic-square proof of KS contextuality for two-qubit system as a semi-device independent communication game in prepare-measure scenario. This provides a semi-device independent certification of two-bit of randomness. Further, by using Mermin's magic-star proof of KS theorem involving three-qubit system, we certify three-bit of randomness. We conjecture that our proposals can be extended to certify any arbitrary bit of randomness through a suitable KS proof of contextuality valid for higher dimensional system. | 翻訳日:2023-04-19 04:06:12 公開日:2020-12-27 |
| # ベル表現群を用いたヒルベルト空間次元のデバイス独立証明 Device-independent certification of Hilbert space dimension using a family of Bell expressions ( http://arxiv.org/abs/2012.13876v1 ) ライセンス: Link先を確認 | A. K. Pan and Shyam Sundar Mahato | (参考訳) 次元証人は、実験統計を生成するのに使用される装置の機能を仮定することなく、観測データの再現に必要な最小次元のデバイスに依存しない認証を提供する。
本稿では、Alice と Bob がそれぞれ 2^{n-1}$ と $n$$ のダイコトミック測度を実行するベル表現の族を提供し、これは、$m=1,2.2^{\lfloor n/2\rfloor}$ のヒルベルト空間のデバイス独立次元証人として機能する。
ここで考慮されるベル表現の族は、n$-bit parity-oblivious random access codeとして知られる通信ゲームの成功確率を決定する。
parity obliviousness 制約は、操作理論のオントロジモデルにおける非文脈性仮定の作成と等価である。
任意の$n\geq 3$ に対して、そのような制約がランダムアクセスコードのエンコーディングスキームに課されると、ベル式の局所境界は、非文脈境界の準備に還元される。
例えば、$n=4,5$の場合、関連するベル式がqubitおよび2-qubit系を証明し、$n=6$の場合、関連するベル式がqubit、2-qubitおよび3-qubit系を認証することを示す。
さらに,複数のbobによる量子準備コンテキストの共有を逐次的に示すことにより,準備コンテキストを共有するbobの数がシステムの次元に依存するかどうかを検証した。
n=5$ と 6$ の明示的な例を示し、文脈性を共有するボブの数が、2^{m}$ 次元のシステムのいずれかで同じであることを示す。 Dimension witness provides a device-independent certification of the minimal dimension required to reproduce the observed data without imposing assumptions on the functioning of the devices used to generate the experimental statistics. In this paper, we provide a family of Bell expressions where Alice and Bob perform $2^{n-1}$ and $n$ number of dichotomic measurements respectively which serve as the device-independent dimension witnesses of Hilbert space of $2^{m}$ dimensions with $m=1,2..2^{\lfloor n/2\rfloor}$. The family of Bell expressions considered here determines the success probability of a communication game known as $n$-bit parity-oblivious random access code. The parity obliviousness constraint is equivalent to preparation non-contextuality assumption in an ontological model of an operational theory. For any given $n\geq 3$, if such a constraint is imposed on the encoding scheme of the random-access code, then the local bound of the Bell expression reduces to the preparation non-contextual bound. We provide explicit examples for $n=4,5$ case to demonstrate that the relevant Bell expressions certify the qubit and two-qubit system, and for $n=6$ case, the relevant Bell expression certifies the qubit, two-qubit and three-qubit systems. We further demonstrate the sharing of quantum preparation contextuality by multiple Bobs sequentially to examine whether number of Bobs sharing the preparation contextuality is dependent on the dimension of the system. We provide explicit example of $n=5$ and $6$ to demonstrate that number of Bobs sequentially sharing the contextuality remains same for any of the $2^{m}$ dimensional systems. | 翻訳日:2023-04-19 04:05:58 公開日:2020-12-27 |
| # マクロリアリズムの干渉実験、異常弱値およびLeggett-Gargテスト Interference experiment, anomalous weak value and Leggett-Garg test of macrorealism ( http://arxiv.org/abs/2012.13875v1 ) ライセンス: Link先を確認 | A. K. Pan | (参考訳) マクロ現実主義(英: macrorealism)は、マクロ対象の性質が独立に存在し、観察に関係なく存在すると主張する古典的な世界観である。
量子論におけるこの考え方をテストする実践的なアプローチの一つは、干渉実験でマクロオブジェクトの量子コヒーレンスを観測することである。
量子論におけるマクロリアリズムの概念をテストするためのエレガントで概念的なアプローチは、レゲット・ガーグの不等式を破ることである。
しかし、Leggett-Gargテストは、実験において非侵襲性測定基準がどのように保証され、今日まで議論されている問題である。
本研究は,マクロリアリズムを弱い価値でテストするための実践的手法と概念的アプローチを結びつける。
我々は、量子効果が干渉実験で観測されるとき、異常な弱値が存在することを議論する。
さらに,このような弱値が存在する場合,干渉実験においてレゲット・ガーグの不等式を破ることを示す。
システム自体が経路のみの干渉実験において装置として機能するため、非侵襲的測定可能性仮定を放棄することでマクロリアリズムを救うことはできない。
我々は、Leggett-Gargシナリオに関わる前提と、我々の計画がそれにどのように適合するかについて厳格な議論を行う。
さらに, 準確率的手法を用いて, 非侵襲的可測性条件がどのように満たされるかを説明する。 Macrorealism is a classical world view asserting that the properties of macro-objects exist independently and irrespective of observation. One practical approach to test this view in quantum theory is to observe the quantum coherence for macro-object in an interference experiment. An elegant and conceptually appealing approach for testing the notion of macrorealism in quantum theory is through the violation of Leggett-Garg inequality. However, a conclusive Leggett-Garg test hinges on how the non-invasive measurability criteria is guaranteed in an experiment and remains a debated issue till date. In this work, we connect the practical and the conceptual approaches for testing the macrorealism through the weak value. We argue that whenever quantum effect is observed in an interference experiment there is an existence of anomalous weak value. Further, we demonstrate that whenever such weak value exists, one obtains the violation of a Leggett-Garg inequality in any interference experiment. Since the system itself serves as apparatus in a path-only interference experiment, one cannot salvage the macrorealism by abandoning the non-invasive measurability assumption. We provide a rigorous discussion about the assumptions involved in Leggett-Garg scenario and how our scheme fits into it. Further, using the quasiprobability approach we explain how non-invasive measurability condition is satisfied in our scheme. | 翻訳日:2023-04-19 04:05:28 公開日:2020-12-27 |
| # 量子チェシャー猫実験における任意の数の性質の切断 Disembodiment of arbitrary number of properties in quantum Cheshire cat experiment ( http://arxiv.org/abs/2012.13874v1 ) ライセンス: Link先を確認 | A. K. Pan | (参考訳) 量子チェシャイア猫(quantum cheshire cat)は、量子粒子(猫)の性質(例えば、グライン)がその位置から空間的に分離された場所に存在するという、選択後のシナリオに基づく弱い測定の枠組みの中で示される効果である。
本研究では, 量子チェシャイアキャットの2つの異なる特性の切断が実証され, 猫が別の経路にいる間, 干渉計上の2つの異なる経路にその特性の<emph{grin} と<emph{meowing} が発見できる, 量子チェシャイアキャットの興味深い変種を提案する。
この提案をさらに拡張して, 1 つの粒子の 3 量子および $d$-qudit システムを提案する。
本研究では, 中性子の経路, スピン, エネルギー次数, 単一光子の経路, 偏光, 軌道角運動量を用いて, 提案手法を検証するための実験的な提案のスケッチを提供する。 The quantum Cheshire cat is an effect demonstrated within the framework of weak measurement aided with post-selection scenario where the property (say, grin) of a quantum particle (the cat) can be found in a spatially separated location from its position. In this work, we first propose interesting variants of quantum Cheshire cat where disembodiment of two different properties of a `cat' is demonstrated, so that, the \emph{grin} and the \emph{meowing} of it can be found in two different paths on an interferometer while the cat is in another path. We further extend this proposal for three-qutrit and $d$-qudit systems of a single particle. We provide sketches of the experimental proposals for testing our scheme by using the path, spin and energy degrees of freedoms of a single neutron and the path, polarization and orbital angular momentum of a single photon. | 翻訳日:2023-04-19 04:05:07 公開日:2020-12-27 |
| # リアルなマルチユーザ操作による創造性教育:パケットトレーサ Teaching Creativity Using a Realistic Multi-User Operation: Packet Tracer ( http://arxiv.org/abs/2101.02009v1 ) ライセンス: Link先を確認 | Muhammad Khairul Ezad Bin Sulaiman | (参考訳) Cisco Packet Tracerのマルチユーザ機能は、ネットワーククラスにおける教育と学習の効率を高めるために、没入的な現実的な学習のインセンティブを提供する。
ネットワーク講座を指導しながら,特に実験室授業において,教室における学生の構成スキルを評価することは,講師にとって最も難しい課題である。
1対1のリモートリレーサーバの概念を使用するマルチユーザ機能により、講師は一度に多数の学生を遠隔操作し、テストすることができる。
本論文の主な目的は,ネットワーククラスにおける現実的なマルチユーザ実践を用いて,創造性を教育に取り入れることである。
本研究では,教室内の既存のLANリンクを通じてマルチユーザ操作を開発した。
操作の焦点は、ルータやスイッチなどのネットワーク機器の簡単な構成である。
この実践は研究室のセッションで使われ、講師に多くの聴衆に基づく関係を確立するよう促した。
教授は、活動実行中の学生の成功を評価し、各学生が活動に従事していることを確認することができる。
このアプローチの導入により、技術科の学生の好奇心が向上し、学生の成功を講師のほうで便利に追跡することができる。
講師は学生の構成能力を綿密に監視し、各生徒が研究室の授業に参加することを保証することができる。
講師は, 生徒に, この指導形式を用いて, 構成やトラブルシューティング能力の発達を指導するだけでなく, ネットワーク問題を修正するために必要なペースを加速させる。 Multi-user capabilities in Cisco Packet Tracer provide an incentive for immersive realistic learning to increase the efficiency of teaching and learning in the networking class. It is difficult to evaluate the configuration skills of the students in the classroom, particularly during laboratory class, while teaching networking course, the most problems for lecturers. The multi-user functionality that uses the one-to-many remote relay server concept allows lecturers to remotely control and test many students at one time. The key purpose of this paper is to incorporate creativity in teaching by using realistic multi-user practises in the networking class. In this study, the multiuser operation was developed and used via an existing LAN link in the classroom. The focus of the operation is the simple configuration of network equipment such as routers and switches. This practise was used during the laboratory session, encouraging lecturers to establish relationships based on a large audience. The professor is able to evaluate the success of the students during the execution of the activity and to ensure that each student engages in the activity. As a result of introducing this approach, the curiosity of students in technical subjects can be improved and student success can be conveniently tracked on the part of the lecturer. Lecturers are able to monitor the configuration capabilities of students closely to ensure that each student engages in the laboratory class. The lecturer will train students not only to develop their configuration and troubleshooting abilities by using this teaching form, but also to accelerate the pace at which students need to fix network problems. | 翻訳日:2023-04-19 03:59:27 公開日:2020-12-27 |
| # 倫理的AIとデータ利用への生態系アプローチ:実験的考察 An Ecosystem Approach to Ethical AI and Data Use: Experimental Reflections ( http://arxiv.org/abs/2101.02008v1 ) ライセンス: Link先を確認 | Mark Findlay and Josephine Seah | (参考訳) AI開発を導くための倫理文書が急速に成長しているのを私たちは見てきたが、それでもAI倫理の推進は、AI実践者自身からの入力はほとんど行われていない。
AI for Social Goodイニシアチブが急増していることを考えると、これはAIの使用と開発に対するより有意義な倫理的アプローチを開発するために対処する必要がある、新たなギャップである。
本稿では,倫理的課題に直面し解決する上で,ai実践者のニーズを識別し,作業経験の周縁に残る抽象的な原則と運用言語を融合できる第3の空間を見つけることを目的とした,共有公平性アプローチを提案する。
ダイアログと相互責任に基づく運用倫理に対する草の根的アプローチを提供する。
この方法論は、実践者が重要な価値を持つ運用上の決定に対して倫理的帰属と分配を認識させ、これらの決定がいつ発生し、どのような倫理的課題に直面するかを特定し、実践者が倫理的責任を内在化するための倫理的責任の言語に取り組むことを目的としている。
この方法論は、構造的な意思決定力とエリートな技術的知識におけるrestの責任の不均衡を橋渡しし、個人的な会話を促進させ、生態系の鋭い端でその意味を与えるために倫理的な談話を返す。
我々の主な貢献は、AI実践者の経験を前面に持ち込もうとする最近の文献に加え、倫理が彼らの仕事においてリレーショナルで相互依存の社会技術的実践としてどのように現れるかを理解するための方法論を提供することである。 While we have witnessed a rapid growth of ethics documents meant to guide AI development, the promotion of AI ethics has nonetheless proceeded with little input from AI practitioners themselves. Given the proliferation of AI for Social Good initiatives, this is an emerging gap that needs to be addressed in order to develop more meaningful ethical approaches to AI use and development. This paper offers a methodology, a shared fairness approach, aimed at identifying the needs of AI practitioners when it comes to confronting and resolving ethical challenges and to find a third space where their operational language can be married with that of the more abstract principles that presently remain at the periphery of their work experiences. We offer a grassroots approach to operational ethics based on dialog and mutualised responsibility. This methodology is centred around conversations intended to elicit practitioners perceived ethical attribution and distribution over key value laden operational decisions, to identify when these decisions arise and what ethical challenges they confront, and to engage in a language of ethics and responsibility which enables practitioners to internalise ethical responsibility. The methodology bridges responsibility imbalances that rest in structural decision making power and elite technical knowledge, by commencing with personal, facilitated conversations, returning the ethical discourse to those meant to give it meaning at the sharp end of the ecosystem. Our primary contribution is to add to the recent literature seeking to bring AI practitioners' experiences to the fore by offering a methodology for understanding how ethics manifests as a relational and interdependent sociotechnical practice in their work. | 翻訳日:2023-04-19 03:58:50 公開日:2020-12-27 |
| # 実振幅3量子ビットのシュミット表現 Schmidt representation of 3-qubits with real amplitudes ( http://arxiv.org/abs/2012.14031v1 ) ライセンス: Link先を確認 | Oscar Perdomo | (参考訳) Schmidt表現から、ローカルゲートまで、各2ビット状態は、$[\phi\rangle=\lambda_1 [00\rangle+\lambda_2 [11\rangle$ with $\lambda_1$ and $\lambda_2$ real numbersと書くことができる。
3ビット状態については、PRL 2000 85 が知られており、各3ビット状態のローカルゲートは $[\phi\rangle=\lambda_1 [000\rangle+\lambda_2 e^{i \theta }[100\rangle+\lambda_3[101\rangle+\lambda_4[110\rangle+\lambda_5[111\rangle$ with $\lambda_i\ge0$ and $0\le \theta \pi$ と書くことができる。
本稿では、直交群($R_y(\theta)$と$X$ gatesで生成される群)の局所ゲートを用いて、実振幅を持つ全ての3ビット状態が $[\phi\rangle=\lambda_1[000\rangle+\lambda_2[100\rangle+\lambda_3[101\rangle+\lambda_4[110\rangle+\lambda_5[111\rangle$] に変換可能であることを示す。
また、直交群の局所ゲートを除いて、実振幅を持つすべての3ビットは $[\phi\rangle=\lambda_1 [000\rangle+\lambda_2 [011\rangle+\lambda_3[101\rangle+\lambda_4[110\rangle+\lambda_5[111\rangle$] と書くことができる。
この結果の説明は youtube video \url{https://youtu.be/gDN20QHzsoQ} で見ることができる。 From the Schmidt representation we have that, up to local gates, every 2-qubit state can be written as $[\phi\rangle=\lambda_1 [00\rangle+\lambda_2 [11\rangle$ with $\lambda_1$ and $\lambda_2$ real numbers. For 3-qubits states, it is known, PRL 2000 85, that up to local gates every 3-qubit state can be written as $[\phi\rangle=\lambda_1 [000\rangle+\lambda_2 e^{i \theta }[100\rangle+\lambda_3[101\rangle+\lambda_4[110\rangle+\lambda_5[111\rangle$ with $\lambda_i\ge0$ and $0\le \theta \le \pi$. In this paper, we show that no every 3-qubit state with real amplitudes can be transform in the form $[\phi\rangle=\lambda_1 [000\rangle+\lambda_2 [100\rangle+\lambda_3[101\rangle+\lambda_4[110\rangle+\lambda_5[111\rangle$ by using local gates in the orthogonal group (the group generated by $R_y(\theta)$ and $X$ gates). We also show that, up to local gates in the orthogonal group, every 3-qubit with real amplitudes can be written as $[\phi\rangle=\lambda_1 [000\rangle+\lambda_2 [011\rangle+\lambda_3[101\rangle+\lambda_4[110\rangle+\lambda_5[111\rangle$ with the $\lambda_i$ real numbers. An explanation of this result can be found in the youtube video \url{https://youtu.be/gDN20QHzsoQ} | 翻訳日:2023-04-19 03:57:57 公開日:2020-12-27 |
| # はしごの上を量子ウォーク Quantum walk on a ladder ( http://arxiv.org/abs/2012.13994v1 ) ライセンス: Link先を確認 | Hira Ali and M.Naeem Shahid | (参考訳) 従来のプロトコルとスプリットステッププロトコルを組み合わせたはしご上の量子ウォークについて検討する。
周期境界条件による歩行の2つの成分は3種類の確率分布を持つようにすることができる。
そのうちの2つは片面と代替品である。
個々の成分のコイン状態の違いを用いて、両成分が同一の確率プロファイルを持つ3つ目のケースをシミュレートすることができる。
また, 歩行の2成分間の相互情報伝達は, はしごの両側面間の差を最大化した場合に最小化する。 We study quantum walk on a ladder with combination of conventional and split-step protocols. The two components of the walk resulting from periodic boundary conditions can be made to have three kinds of probability distributions. Two of these are the one-sided and alternative ones. Using the differences between coin states of the individual component, we can simulate the third case in which both components have identical probability profiles. We also observe that the mutual information transfer between two components of the walk is minimized when this difference across the two sides of the ladder is maximized. | 翻訳日:2023-04-19 03:56:31 公開日:2020-12-27 |
| # 4ミラーキャビティにおける2つの横ボース・アインシュタイン凝縮体による電磁誘導透過 Electromagnetically Induced Transparencies with Two Transverse Bose-Einstein Condensates in a Four-Mirror Cavity ( http://arxiv.org/abs/2012.13969v1 ) ライセンス: Link先を確認 | Kashif Ammar Yasir, Zhaoxin Liang, Gao Xianlong, and Wu-Ming Liu | (参考訳) 強いポンプレーザーと弱いプローブレーザーにより駆動される4ミラー光学空洞内における2つの横ボース・アインシュタイン凝縮による電磁誘導透過性について検討した。
キャビティモードはビームスプリッターから分離した後、2つの独立したボース・アインシュタイン凝縮体と相互作用し、x$-axisとy$-axisに沿ってキャビティの腕に横方向に閉じ込められる。
キャビティ内光学モードの相互作用は、ボース・アインシュタイン凝縮体における運動量側モードを励起し、空洞磁場を介して結合された2つの原子ミラーとして模倣する。
プローブ場光子が原子鏡を通して遷移すると、両方の原子状態が空洞と結合しているときにのみ存在する2つの結合した電磁誘導透過窓が生じることを示す。
さらに、原子空洞結合の増大に伴い、これらの新しい電磁誘導透明性の強度が増大する。
さらに,ファノ共鳴の挙動と高速・低速光のダイナミクスについても検討した。
本研究では, 原子状態とキャビティモードの相互作用を強化することで, ファノ線形状とスロー光のダイナミクスを向上できることを示す。
我々の発見は、複雑なシステムの量子非線形光学に寄与するだけでなく、単一のシステムで多次元原子状態をテストするためのプラットフォームも提供する。 We investigate electromagnetically induced transparencies with two transverse Bose-Einstein condensates in four-mirror optical cavity, driven by a strong pump laser and a weak probe laser. The cavity mode, after getting split from beam splitter, interacts with two independent Bose-Einstein Condensates transversely trapped in the arms of the cavity along $x$-axis and $y$-axis. The interaction of intra-cavity optical mode excites momentum side modes in Bose-Einstein Condensates, which then mimic as two atomic mirrors coupled through cavity field. We show that the probe field photons transition through the atomic mirrors yields to two coupled electromagnetically induced transparency windows, which only exist when both atomic states are coupled with the cavity. Further, the strength of these novel electromagnetically induced transparencies gets increased with an increase in atom-cavity coupling. Furthermore, we investigate the behavior of Fano resonances and dynamics of fast and slow light. We illustrate that the Fano line shapes and dynamics of slow light can be enhanced by strengthening the interaction between atomic states and cavity mode. Our findings not only contribute to the quantum nonlinear optics of complex systems but also provide a platform to test multi-dimensional atomic states in a single system. | 翻訳日:2023-04-19 03:56:23 公開日:2020-12-27 |
| # 量子計算機科学者のためのZX計算 ZX-calculus for the working quantum computer scientist ( http://arxiv.org/abs/2012.13966v1 ) ライセンス: Link先を確認 | John van de Wetering | (参考訳) ZX計算は、量子計算を推論するためのグラフィカル言語であり、最近量子回路最適化、表面符号、格子手術、測定ベースの量子計算、量子基礎など、様々な分野での利用が増加している。
このレビューの前半は、量子コンピューティングの基礎に精通した人々に適したZX計算を穏やかに紹介している。
ここでの目標は、量子回路や状態の小さな計算に日々の作業で使用できるように、読者をZX計算で十分に快適にすることだ。
後者のセクションでは、ZX-計算に関する文献の概要がまとめられている。
我々はクリフォードの計算を議論し、ゴッテマン・クニルの定理をグラフィカルに証明し、最近導入されたトッホリゲートに関する便利な推論を可能にするZX-計算の拡張について議論し、ZX-計算に対する最近の完全性定理について議論し、原理的には、量子計算に関するすべての推論はZX-ダイアグラムを用いて可能であることを示す。
さらに、ZX-計算の分類的および代数的起源について論じ、混合状態、測定、古典的制御、高次元キューディットを表現できる言語のいくつかの拡張について論じる。 The ZX-calculus is a graphical language for reasoning about quantum computation that has recently seen an increased usage in a variety of areas such as quantum circuit optimisation, surface codes and lattice surgery, measurement-based quantum computation, and quantum foundations. The first half of this review gives a gentle introduction to the ZX-calculus suitable for those familiar with the basics of quantum computing. The aim here is to make the reader comfortable enough with the ZX-calculus that they could use it in their daily work for small computations on quantum circuits and states. The latter sections give a condensed overview of the literature on the ZX-calculus. We discuss Clifford computation and graphically prove the Gottesman-Knill theorem, we discuss a recently introduced extension of the ZX-calculus that allows for convenient reasoning about Toffoli gates, and we discuss the recent completeness theorems for the ZX-calculus that show that, in principle, all reasoning about quantum computation can be done using ZX-diagrams. Additionally, we discuss the categorical and algebraic origins of the ZX-calculus and we discuss several extensions of the language which can represent mixed states, measurement, classical control and higher-dimensional qudits. | 翻訳日:2023-04-19 03:56:03 公開日:2020-12-27 |
| # 効率性と等価性は両立する: 深層強化学習を用いた一般化信号制御器 Efficiency and Equity are Both Essential: A Generalized Traffic Signal Controller with Deep Reinforcement Learning ( http://arxiv.org/abs/2003.04046v3 ) ライセンス: Link先を確認 | Shengchao Yan, Jingwei Zhang, Daniel B\"uscher, Wolfram Burgard | (参考訳) 交通信号制御装置は、今日の交通システムにおいて重要な役割を果たす。
しかし、その大半は最適な交通スケジュールを生成するのに十分な柔軟性や適応性を持っていない。
本稿では,交通流最適化を目的とした深層強化学習を用いた信号制御装置の学習ポリシーを提案する。
提案手法は,効率と公平性を同時に考慮した報酬関数の新規な定式化を用いる。
さらに、提案するエクイティファクターのバウンドを見つけるための一般的なアプローチを提案し、学習を大幅に安定化させ、グリーン光持続時間の高い柔軟性を維持するための適応型ディスカウント手法を提案する。
シミュレーションと実世界の両方のデータを用いた実験により,提案アルゴリズムは,幅広い交通状況において,従来の非学習手法が保持していた最先端性能を実現することを示す。 Traffic signal controllers play an essential role in today's traffic system. However, the majority of them currently is not sufficiently flexible or adaptive to generate optimal traffic schedules. In this paper we present an approach to learning policies for signal controllers using deep reinforcement learning aiming for optimized traffic flow. Our method uses a novel formulation of the reward function that simultaneously considers efficiency and equity. We furthermore present a general approach to find the bound for the proposed equity factor and we introduce the adaptive discounting approach that greatly stabilizes learning and helps to maintain a high flexibility of green light duration. The experimental evaluations on both simulated and real-world data demonstrate that our proposed algorithm achieves state-of-the-art performance (previously held by traditional non-learning methods) on a wide range of traffic situations. | 翻訳日:2022-12-25 08:24:12 公開日:2020-12-27 |
| # FedMAX: 正確なコミュニケーション効率の高いフェデレーション学習のための活性化の多様性の軽減 FedMAX: Mitigating Activation Divergence for Accurate and Communication-Efficient Federated Learning ( http://arxiv.org/abs/2004.03657v2 ) ライセンス: Link先を確認 | Wei Chen, Kartikeya Bhardwaj, Radu Marculescu | (参考訳) 本稿では,複数ユーザ間のデータ不均一性(非iidデータ)により,連合学習(fl)で発生するアクティベーション・ダイバージェンスと呼ばれる新たな現象を明らかにする。
具体的には、ユーザのサブセットがいくつかの共通クラスを共有し、異なるデバイス上のデータを共有する場合であっても、FLのアクティベーションベクトルはばらばらになる可能性があると論じる。
本稿では,各デバイス毎のアクティベーションベクトルについて最小限の情報を前提として,複数のデバイスで可能な限り同一クラスのアクティベーションベクトルを作成することを目的とした,最大エントロピーの原理に基づく事前提案を行う。
提案手法は,IIDおよび非IID設定の両方において,複数のデバイス間でのアクティベーションベクトルが著しく類似しているため,精度が向上し,FLの最先端手法よりも通信効率がよいことを示す。
最後に、いくつかの共通ベンチマークと2つの大規模医療データセットにおいて、このアプローチの有効性を示す。 In this paper, we identify a new phenomenon called activation-divergence which occurs in Federated Learning (FL) due to data heterogeneity (i.e., data being non-IID) across multiple users. Specifically, we argue that the activation vectors in FL can diverge, even if subsets of users share a few common classes with data residing on different devices. To address the activation-divergence issue, we introduce a prior based on the principle of maximum entropy; this prior assumes minimal information about the per-device activation vectors and aims at making the activation vectors of same classes as similar as possible across multiple devices. Our results show that, for both IID and non-IID settings, our proposed approach results in better accuracy (due to the significantly more similar activation vectors across multiple devices), and is more communication-efficient than state-of-the-art approaches in FL. Finally, we illustrate the effectiveness of our approach on a few common benchmarks and two large medical datasets. | 翻訳日:2022-12-15 23:13:21 公開日:2020-12-27 |
| # ファイバー潜在空間における測地学--条件間の対応学習への幾何学的アプローチ Geodesics in fibered latent spaces: A geometric approach to learning correspondences between conditions ( http://arxiv.org/abs/2005.07852v3 ) ライセンス: Link先を確認 | Tariq Daouda, Reda Chhaibi, Prudencio Tossou, Alexandra-Chlo\'e Villani | (参考訳) この研究は、異なる条件のサンプル間の対応を作成するための幾何学的枠組みと新しいネットワークアーキテクチャを導入する。
この形式の下では、潜在空間は、条件を符号化する基底空間と条件内の変動を符号化するファイバー空間に成層化されたファイバー束である。
さらに、この潜在空間には自然な引き戻し距離が与えられる。
条件間の対応はエネルギー汎関数を最小化し、繊維間の微分同相流をもたらす。
本稿では、mnistとolivettiを用いてこのアプローチを説明し、複数の生物学的データセットを統合する問題であるバッチ補正タスクの性能をベンチマークする。 This work introduces a geometric framework and a novel network architecture for creating correspondences between samples of different conditions. Under this formalism, the latent space is a fiber bundle stratified into a base space encoding conditions, and a fiber space encoding the variations within conditions. Furthermore, this latent space is endowed with a natural pull-back metric. The correspondences between conditions are obtained by minimizing an energy functional, resulting in diffeomorphism flows between fibers. We illustrate this approach using MNIST and Olivetti and benchmark its performances on the task of batch correction, which is the problem of integrating multiple biological datasets together. | 翻訳日:2022-12-02 13:07:47 公開日:2020-12-27 |
| # Google画像検索によるWebページ分類 Web page classification with Google Image Search results ( http://arxiv.org/abs/2006.00226v2 ) ライセンス: Link先を確認 | Fahri Aydos, A. Murat \"Ozbayo\u{g}lu, Yahya \c{S}irin, M. Fatih Demirci | (参考訳) 本稿では,入力のクラスを決定するために,複数のニューラルネットワーク結果を組み合わせた新しい手法を提案する。
この手法をウェブページ分類に用いた最初の研究である。
我々のモデルでは、各要素は複数の記述的イメージで表現される。
ニューラルネットワークモデルのトレーニング処理の後、各要素はその記述的画像結果を計算することにより分類される。
本稿では,Google画像検索の結果を記述画像として用いたWebページ分類問題に適用する。
4つのクラスに20000のWebサイトを含むWebScreenshotsデータセットで94.90%の分類率を得た。
この方法は類似の問題に容易に適用できる。 In this paper, we introduce a novel method that combines multiple neural network results to decide the class of the input. This is the first study which used the method for web pages classification. In our model, each element is represented by multiple descriptive images. After the training process of the neural network model, each element is classified by calculating its descriptive image results. We apply our idea to the web page classification problem using Google Image Search results as descriptive images. We obtained a classification rate of 94.90% on the WebScreenshots dataset that contains 20000 web sites in 4 classes. The method is easily applicable to similar problems. | 翻訳日:2022-11-26 17:41:35 公開日:2020-12-27 |
| # 小さな重みと深さ分離障壁を持つニューラルネットワーク Neural Networks with Small Weights and Depth-Separation Barriers ( http://arxiv.org/abs/2006.00625v4 ) ライセンス: Link先を確認 | Gal Vardi and Ohad Shamir | (参考訳) ニューラルネットワークの表現性の研究において重要な疑問は、そのサイズが有界であると仮定して、十分に深いネットワークによってのみ近似できる関数が存在するかどうかである。
しかし、一定の深さでは、既存の結果が2ドルと3ドルに制限され、より深い深さで結果を達成することは重要なオープンな問題である。
本稿では,feedforward reluネットワークに着目し,回路の複雑度におけるオープン問題と自然防御障壁の低減により,奥行き4ドルを超える結果を証明するための基本的な障壁を実証する。
そこで本研究では,超多項重みを必要とする多項式境界関数が存在するかどうかを,定数深層ニューラルネットワークを用いて近似するために検討する。
この質問に対する否定的かつ構成的な答えは、ある関数が任意に重みを持つ多項式の大きさの定数深さ$k$ネットワークで近似できるならば、多項式の大きさの深さ$3k+3$ネットワークで近似でき、その重みは多項式に有界であることを示している。 In studying the expressiveness of neural networks, an important question is whether there are functions which can only be approximated by sufficiently deep networks, assuming their size is bounded. However, for constant depths, existing results are limited to depths $2$ and $3$, and achieving results for higher depths has been an important open question. In this paper, we focus on feedforward ReLU networks, and prove fundamental barriers to proving such results beyond depth $4$, by reduction to open problems and natural-proof barriers in circuit complexity. To show this, we study a seemingly unrelated problem of independent interest: Namely, whether there are polynomially-bounded functions which require super-polynomial weights in order to approximate with constant-depth neural networks. We provide a negative and constructive answer to that question, by showing that if a function can be approximated by a polynomially-sized, constant depth $k$ network with arbitrarily large weights, it can also be approximated by a polynomially-sized, depth $3k+3$ network, whose weights are polynomially bounded. | 翻訳日:2022-11-26 12:42:47 公開日:2020-12-27 |
| # 深層学習に基づく自律走行車用多目的エコルーティング戦略 Deep Learning Based Proactive Multi-Objective Eco-Routing Strategies for Connected and Automated Vehicles ( http://arxiv.org/abs/2006.16472v2 ) ライセンス: Link先を確認 | Lama Alfaseeh and Bilal Farooq | (参考訳) 本研究では、情報通信技術(ICT)、コネクテッド・アンド・オートマチック・ビークル(CAV)、センシングの進歩を活用して、積極的な多目的エコルーティング戦略を開発する。
堅牢なアプリケーションでは、いくつかのGHGコスト手法が検討されている。
リンクレベルトラヒックとエミッション状態の予測モデルは、外部予測器を備えた長期記憶深層ネットワークを用いて開発されている。
プロアクティブなルーティング戦略は、ルーティング目的に関係なく、ミオピック戦略よりも優れていた。
マイオピックであれプロアクティブであれ、旅行時間とghg最小化を目的とする多目的ルーティングであっても、単一の目標ルーティング戦略を上回り、平均走行時間(tt)、平均走行キロメートル旅行(vkt)、総ghg、総noxをそれぞれ17%、21%、18%、20%削減した。
最後に、ネットワーク内の車両が経験する追加のTTとVKTは、ネットワーク内で発生するGHGとNOxの量に悪影響を及ぼした。 This study exploits the advancements in information and communication technology (ICT), connected and automated vehicles (CAVs), and sensing, to develop proactive multi-objective eco-routing strategies. For a robust application, several GHG costing approaches are examined. The predictive models for the link level traffic and emission states are developed using long short term memory deep network with exogenous predictors. It is found that proactive routing strategies outperformed the myopic strategies, regardless of the routing objective. Whether myopic or proactive, the multi-objective routing, with travel time and GHG minimization as objectives, outperformed the single objective routing strategies, causing a reduction in the average travel time (TT), average vehicle kilometre travelled (VKT), total GHG and total NOx by 17%, 21%, 18%, and 20%, respectively. Finally, the additional TT and VKT experienced by the vehicles in the network contributed adversely to the amount of GHG and NOx produced in the network. | 翻訳日:2022-11-15 05:12:00 公開日:2020-12-27 |
| # データ駆動型レジリエントグリッドの運用--COVID-19の事例から Data-driven Operation of the Resilient Electric Grid: A Case of COVID-19 ( http://arxiv.org/abs/2010.01746v3 ) ライセンス: Link先を確認 | Hossein Noorazar, Anurag. k. Srivastava, K. Sadanandan Sajan, Sanjeev Pannala | (参考訳) 電気エネルギーは現代の生活の重要な部分であり、持続的で信頼性の高いエネルギー供給を可能にするグリッドレジリエンスへの期待は、有害な出来事(例:ウクライナのサイバー攻撃、ハリケーン・マリア)でも著しく高まった。
世界的なパンデミック(covid-19)は、労働力の混乱やサプライチェーンの中断、サイバーセキュリティの脅威の増加などによる電力信頼性のリスクを高めた。
パンデミックは、自然災害、前例のない停電、老朽化した電力網、分散世代の増加、サイバー攻撃など、他の極端な出来事の存在下で、グリッド運用にかなりの不確実性をもたらす。
この状況は、パンデミックの影響を軽減し、同時に極端な出来事を同時に起こすための電力グリッドの弾力性対策の必要性を高める。
このような悪いシナリオを管理するためのソリューションは、多岐にわたるでしょう。
a) 緊急計画及び組織的支援
b) 安全手順に従うこと
c) 状況把握のための自動化及びセンシングの強化活用
d) ML駆動による意思決定支援のための高度な技術とデータポイントの統合。
デジタル化と自動化の強化により、生成、送信、配信など、さまざまなレベルでネットワークの可視性が向上した。
これらのデータや情報は、自動化と電力グリッドのレジリエンス向上のための高度な機械学習技術を活用するために利用することができる。
この論文では
a) 新型コロナウイルスの影響を最小限に抑えるため、事業者・組織が行う電力網運営及び行動に対するCOVID-19の影響を概観する。
b) 機械学習と人工知能の分野において自然言語処理(NLP)を用いた最近開発されたツールと概念を提示した。これは、通常および新型コロナウイルスのパンデミックのような極端なシナリオにおいて、電力システムのレジリエンスを高めるのに使用できる。 Electrical energy is a vital part of modern life, and expectations for grid resilience to allow a continuous and reliable energy supply has tremendously increased even during adverse events (e.g., Ukraine cyber-attack, Hurricane Maria). The global pandemic COVID-19 has raised the electric energy reliability risk due to potential workforce disruptions, supply chain interruptions, and increased possible cybersecurity threats. The pandemic introduces a significant degree of uncertainly to the grid operation in the presence of other extreme events like natural disasters, unprecedented outages, aging power grids, high proliferation of distributed generation, and cyber-attacks. This situation increases the need for measures for the resiliency of power grids to mitigate the impacts of the pandemic as well as simultaneous extreme events. Solutions to manage such an adverse scenario will be multi-fold: a) emergency planning and organizational support, b) following safety protocol, c) utilizing enhanced automation and sensing for situational awareness, and d) integration of advanced technologies and data points for ML-driven enhanced decision support. Enhanced digitalization and automation resulted in better network visibility at various levels, including generation, transmission, and distribution. These data or information can be utilized to take advantage of advanced machine learning techniques for automation and increased power grid resilience. In this paper, a) we review the impact of COVID-19 on power grid operations and actions taken by operators/organizations to minimize the impact of COVID-19, and b) we have presented the recently developed tool and concepts using natural language processing (NLP) in the domain of machine learning and artificial intelligence that can be used for increasing resiliency of power systems in normal and in extreme scenarios such as COVID-19 pandemics. | 翻訳日:2022-10-10 22:08:13 公開日:2020-12-27 |
| # 3次元医用画像分割のための自動データ拡張 Automatic Data Augmentation for 3D Medical Image Segmentation ( http://arxiv.org/abs/2010.11695v2 ) ライセンス: Link先を確認 | Ju Xu, Mengzhang Li, Zhanxing Zhu | (参考訳) データ拡張はディープニューラルネットワークの一般化性能を改善するための効果的で普遍的な手法である。
医用画像分割タスクに不可欠なトレーニングサンプルの多様性を高めることができる。
1) 医用画像データセットの規模は一般的に小さく、過度に適合するリスクが増大する可能性がある。
2) 臓器や腫瘍などの異なる物体の形状やモダリティは独特であり, カスタマイズされたデータ拡張ポリシーが必要である。
しかし、ほとんどのデータ拡張実装は手作りであり、医療画像処理に最適である。
データ拡張の可能性を完全に活用するために,最適な拡張戦略を自動検索する効率的なアルゴリズムを提案する。
ネットワーク重みと拡張パラメータの結合最適化を確率的緩和により微分可能な形式に定式化する。
この定式化により,適応ステップサイズを持つ確率的自然勾配法のような,代替的な勾配に基づく手法を適用できる。
我々の知る限り、医療画像分割作業において、識別可能な自動データ拡張が採用されたのは初めてである。
数値実験により,提案手法が既存の最新モデルの組込みデータ拡張を大幅に上回ることを示した。 Data augmentation is an effective and universal technique for improving generalization performance of deep neural networks. It could enrich diversity of training samples that is essential in medical image segmentation tasks because 1) the scale of medical image dataset is typically smaller, which may increase the risk of overfitting; 2) the shape and modality of different objects such as organs or tumors are unique, thus requiring customized data augmentation policy. However, most data augmentation implementations are hand-crafted and suboptimal in medical image processing. To fully exploit the potential of data augmentation, we propose an efficient algorithm to automatically search for the optimal augmentation strategies. We formulate the coupled optimization w.r.t. network weights and augmentation parameters into a differentiable form by means of stochastic relaxation. This formulation allows us to apply alternative gradient-based methods to solve it, i.e. stochastic natural gradient method with adaptive step-size. To the best of our knowledge, it is the first time that differentiable automatic data augmentation is employed in medical image segmentation tasks. Our numerical experiments demonstrate that the proposed approach significantly outperforms existing build-in data augmentation of state-of-the-art models. | 翻訳日:2022-10-10 00:05:25 公開日:2020-12-27 |
| # ネスト付き名前付きエンティティ認識のための境界回帰モデル A Boundary Regression Model for Nested Named Entity Recognition ( http://arxiv.org/abs/2011.14330v2 ) ライセンス: Link先を確認 | Yanping Chen, Lefei Wu, Liyuan Deng, Yongbin Qing, Ruizhang Huang, Qinghua Zheng, Ping Chen | (参考訳) 名前付きエンティティ(NE)の認識は、文中のNE候補のクラスタグを予測する分類問題として一般的に行われる。
浅い構造では、分類された特徴は予測をサポートするために重み付けされる。
ニューラルネットワークの最近の進歩は、特徴を連続表現に分類する深い構造を採用している。
このアプローチは、高階抽象的セマンティック情報で飽和した高密度空間を広げ、予測は分散特徴表現に基づいて行われる。
本稿では,文中のNEを見つけるために回帰演算を導入する。
このアプローチでは、ディープネットワークはまず入力文を再帰的特徴マップに変換するように設計されている。
境界ボックスは機能マップから生成され、ボックスはne候補の抽象表現である。
クラスタグに加えて、各バウンディングボックスには、スタート位置とne候補の長さを示す2つのパラメータがある。
トレーニングプロセスでは、境界ボックスと真のNEとの間の位置オフセットを学習し、位置損失を最小限に抑える。
このモチベーションに基づいて、多目的学習フレームワークは、エンティティを同時に特定し、クラス確率を予測するように設計されている。
同定と予測のためのパラメータを共有することで、フレームワークは注釈付きデータを最大限に活用し、より強力な非線形関数近似子によりモデルの識別性を高めることができる。
実験はネストされた名前付きエンティティの最先端のパフォーマンスを示す。\footnote{our codes will be available at \url{https://github.com/wuyuefei3/br}}。 Recognizing named entities (NEs) is commonly conducted as a classification problem that predicts a class tag for an NE candidate in a sentence. In shallow structures, categorized features are weighted to support the prediction. Recent developments in neural networks have adopted deep structures that map categorized features into continuous representations. This approach unfolds a dense space saturated with high-order abstract semantic information, where the prediction is based on distributed feature representations. In this paper, the regression operation is introduced to locate NEs in a sentence. In this approach, a deep network is first designed to transform an input sentence into recurrent feature maps. Bounding boxes are generated from the feature maps, where a box is an abstract representation of an NE candidate. In addition to the class tag, each bounding box has two parameters denoting the start position and the length of an NE candidate. In the training process, the location offset between a bounding box and a true NE are learned to minimize the location loss. Based on this motivation, a multiobjective learning framework is designed to simultaneously locate entities and predict the class probability. By sharing parameters for locating and predicting, the framework can take full advantage of annotated data and enable more potent nonlinear function approximators to enhance model discriminability. Experiments demonstrate state-of-the-art performance for nested named entities\footnote{Our codes will be available at: \url{https://github.com/wuyuefei3/BR}}. | 翻訳日:2021-06-07 09:08:37 公開日:2020-12-27 |
| # (参考訳) 注意強制ネットワークによるデジタル病理画像の高精度セルセグメンテーション Accurate Cell Segmentation in Digital Pathology Images via Attention Enforced Networks ( http://arxiv.org/abs/2012.07237v2 ) ライセンス: CC BY 4.0 | Muyi Sun, Zeyi Yao, Guanhong Zhang | (参考訳) 自動細胞セグメンテーションは、乳がんの検出やグレーディングなどのコンピュータ支援診断(CAD)のパイプラインにおいて重要なステップである。
正確な細胞分割は、病理学者がより正確な診断を行うのを助けるだけでなく、多くの時間と労力を節約できる。
しかし、このタスクは、染色の変化、細胞不均一な強度、背景の散乱、異なる組織からの細胞に悩まされる。
これらの問題に対処するため,空間的注意モジュールとチャネル注意モジュールをベースとして,グローバルな依存関係と重み付きチャネルを適応的に統合するアテンション強化ネットワーク(AENet)を提案する。
さらに,高レベル・低レベルの特徴を橋渡しする機能融合分岐を導入する。
最後に, 予測セグメンテーションマップを後処理し, フラグメント領域を減らすために, マーカー制御型流域アルゴリズムを適用した。
実験段階では, 染色変化問題に対処するために, 個々の色正規化法を提案する。
このモデルをMoNuSegデータセット上で評価する。
いくつかの先行手法に対する定量的比較は、我々のアプローチの優位性を示している。 Automatic cell segmentation is an essential step in the pipeline of computer-aided diagnosis (CAD), such as the detection and grading of breast cancer. Accurate segmentation of cells can not only assist the pathologists to make a more precise diagnosis, but also save much time and labor. However, this task suffers from stain variation, cell inhomogeneous intensities, background clutters and cells from different tissues. To address these issues, we propose an Attention Enforced Network (AENet), which is built on spatial attention module and channel attention module, to integrate local features with global dependencies and weight effective channels adaptively. Besides, we introduce a feature fusion branch to bridge high-level and low-level features. Finally, the marker controlled watershed algorithm is applied to post-process the predicted segmentation maps for reducing the fragmented regions. In the test stage, we present an individual color normalization method to deal with the stain variation problem. We evaluate this model on the MoNuSeg dataset. The quantitative comparisons against several prior methods demonstrate the superiority of our approach. | 翻訳日:2021-05-09 09:36:03 公開日:2020-12-27 |
| # (参考訳) ccml : ノイズマルチラベルを用いた遠隔センシング画像分類のための新しい協調学習モデル CCML: A Novel Collaborative Learning Model for Classification of Remote Sensing Images with Noisy Multi-Labels ( http://arxiv.org/abs/2012.10715v2 ) ライセンス: CC BY 4.0 | Ahmet Kerem Aksoy, Mahdyar Ravanbakhsh, Tristan Kreuziger, Begum Demir | (参考訳) リモートセンシング(rs)画像の高精度マルチラベル分類法(mlc)の開発は、rsにおける最も重要な研究課題の一つである。
深層畳み込みニューラルネットワーク(Deep Convolutional Neural Networks, CNN)に基づく手法は、RS MLC問題において大幅な性能向上を引き起こし、複数のランドカバークラスラベルに注釈付けされた多数の信頼性のあるトレーニング画像を必要とする。
このようなデータの収集には時間と費用がかかります。
この問題に対処するために、騒がしいラベルを含む公開のテーマ製品は、ゼロラベルコストでrsイメージに注釈を付けるのに使うことができる。
しかし、マルチラベルノイズ(誤りやラベルアノテーションの欠如)は、MLCアルゴリズムの学習過程を歪め、不正確な予測をもたらす。
ラベルノイズの検出と補正は、特に複数のラベルのシナリオにおいて難しい課題であり、各画像は複数のラベルに関連付けられる。
そこで本研究では,cnnモデルの学習段階でのマルチラベル雑音の悪影響を軽減するための,コンセンサス協調型マルチラベル学習(ccml)手法を提案する。
CCMLは、1) group lasso module; 2)disrepancy module; 3) flipping module; and 4) swap moduleという4つの主要なモジュールに基づいて、RSイメージ内のノイズの多いマルチラベルを識別、ランク付け、修正する。
グループラッソモジュールのタスクは、多ラベルのトレーニング画像に割り当てられた潜在的ノイズラベルを検出することであり、この不一致モジュールは、同一の予測を得ながら、2つの協調ネットワークが多様な特徴を学習することを保証する。
スワップモジュールタスクは2つのネットワーク間のランキング情報を交換することを目的としているが、フリップモジュールは特定されたノイズのマルチラベルを修正するように設計されている。
私たちのコードはオンラインで公開されている。 The development of accurate methods for multi-label classification (MLC) of remote sensing (RS) images is one of the most important research topics in RS. Deep Convolutional Neural Networks (CNNs) based methods have triggered substantial performance gains in RS MLC problems, requiring a large number of reliable training images annotated by multiple land-cover class labels. Collecting such data is time-consuming and costly. To address this problem, the publicly available thematic products, which can include noisy labels, can be used for annotating RS images with zero-labeling cost. However, multi-label noise (which can be associated with wrong as well as missing label annotations) can distort the learning process of the MLC algorithm, resulting in inaccurate predictions. The detection and correction of label noise are challenging tasks, especially in a multi-label scenario, where each image can be associated with more than one label. To address this problem, we propose a novel Consensual Collaborative Multi-Label Learning (CCML) method to alleviate the adverse effects of multi-label noise during the training phase of the CNN model. CCML identifies, ranks, and corrects noisy multi-labels in RS images based on four main modules: 1) group lasso module; 2) discrepancy module; 3) flipping module; and 4) swap module. The task of the group lasso module is to detect the potentially noisy labels assigned to the multi-labeled training images, and the discrepancy module ensures that the two collaborative networks learn diverse features, while obtaining the same predictions. The flipping module is designed to correct the identified noisy multi-labels, while the swap module task is devoted to exchanging the ranking information between two networks. Our code is publicly available online: http://www.noisy-labels-in-rs.org | 翻訳日:2021-05-01 14:06:44 公開日:2020-12-27 |
| # 抽象的議論の次数的意味論:拡張型の場合 On graded semantics of abstract argumentation: Extension-based case ( http://arxiv.org/abs/2012.10592v2 ) ライセンス: Link先を確認 | Lixing Tan, Zhaohui Zhu, Jinjin Zhang | (参考訳) 本稿では,Grossi と Modgil の最近の研究 [1] に基づき,抽象的議論フレームワーク (AAF,略してAAF) の拡張的意味論について考察する。
まず、[1]で得られる対応する結果を一般化する別の基本補題が与えられる。
この補題は防衛関数の反復の観点からいくつかの特別な拡張を構築する上で中心的な役割を果たす。
この補題を適用すると[1]のいくつかの欠陥が修正され、様々な拡張ベースの意味論の構造的性質が与えられる。
第二に、いわゆるregred meet modulo a ultrafilterという演算子が提示される。
コンフリクトフリー、許容可能、完全、安定のセマンティクスを含む、AFの基本セマンティクスは、この演算子の下で閉じられている。
この事実に基づいて、範囲関連セマンティクスのファミリーの普遍的定義可能性を確立するための簡潔で均一な証明方法を提案する。
第3に、モデル理論のツールを用いて、縮小されたミートモジュロ任意の超フィルタの下で閉じた拡張ベースの意味論のクラスを特徴付け、範囲関連意味論の普遍的定義可能性に関するメタセオラムをもたらす。
最後に、範囲関連意味論の他に、従来のaafの意味論の段階的変種(例えば、理想意味論、意欲的意味論など)についても考察する。 Based on Grossi and Modgil's recent work [1], this paper considers some issues on extension-based semantics for abstract argumentation framework (AAF, for short). First, an alternative fundamental lemma is given, which generalizes the corresponding result obtained in [1]. This lemma plays a central role in constructing some special extensions in terms of iterations of the defense function. Applying this lemma, some flaws in [1] are corrected and a number of structural properties of various extension-based semantics are given. Second, the operator so-called reduced meet modulo an ultrafilter is presented. A number of fundamental semantics for AAF, including conflict-free, admissible, complete and stable semantics, are shown to be closed under this operator. Based on this fact, we provide a concise and uniform proof method to establish the universal definability of a family of range related semantics. Thirdly, using model-theoretical tools, we characterize the class of extension-based semantics that is closed under reduced meet modulo any ultrafilter, which brings us a metatheorem concerning the universal definability of range related semantics. Finally, in addition to range related semantics, some graded variants of traditional semantics of AAF are also considered in this paper, e.g., ideal semantics, eager semantics, etc. | 翻訳日:2021-05-01 11:13:04 公開日:2020-12-27 |
| # (参考訳) パーソナライズド価格の公平性, 福祉性, 公平性 Fairness, Welfare, and Equity in Personalized Pricing ( http://arxiv.org/abs/2012.11066v2 ) ライセンス: CC BY 4.0 | Nathan Kallus, Angela Zhou | (参考訳) 顧客特性に基づくパーソナライズ価格における公平性、福祉、株式の配慮の相互作用について検討する。
販売業者は、共変量に基づく需要条件の予測モデルに基づく価格パーソナライズを、カスタマイズされた利率の設定、消費者商品のターゲット割引、ワクチンやベッドネットのようなポジティブな外部性のある不足資源のパーソナライズされた助成金などに基づいて行うことができるようになっている。
これらの異なる応用分野は、消費者に対する価格負担、価格帯、企業収益、良質で平等なアクセスへのアクセス、そして利益が利害の下流の結果にさらに影響を及ぼす場合の分配的結果など、様々な目的に対する公正性、福祉、株式に関する様々な懸念を引き起こす可能性がある。
我々は、これらの異なる規範的考察を解き放つために包括的な文献レビューを行い、数学的定義を持つ異なる目的の分類法を提案する。
我々は,二元フィードバックによって無視されるか,明らかな選好の解釈に関する行動上の懸念を過小評価するため不明確な評価分布へのアクセスを想定しない観察的指標に注目した。
商品供給のパーソナライズ価格設定において、「三つのボトムライン」を達成することで、価格最適化が不明確な利益をもたらす可能性について論じる: パーソナライズ価格によりアクセスが拡大し、不均一な効用による福祉が向上し、収益や予算利用が向上する可能性がある。
我々は、選択ワクチンの価格補助金と、マイクロクレジットの下流結果に対するパーソナライズされた利率の影響の2つの設定において、パーソナライズされた価格の潜在的利点を実証的に示す。 We study the interplay of fairness, welfare, and equity considerations in personalized pricing based on customer features. Sellers are increasingly able to conduct price personalization based on predictive modeling of demand conditional on covariates: setting customized interest rates, targeted discounts of consumer goods, and personalized subsidies of scarce resources with positive externalities like vaccines and bed nets. These different application areas may lead to different concerns around fairness, welfare, and equity on different objectives: price burdens on consumers, price envy, firm revenue, access to a good, equal access, and distributional consequences when the good in question further impacts downstream outcomes of interest. We conduct a comprehensive literature review in order to disentangle these different normative considerations and propose a taxonomy of different objectives with mathematical definitions. We focus on observational metrics that do not assume access to an underlying valuation distribution which is either unobserved due to binary feedback or ill-defined due to overriding behavioral concerns regarding interpreting revealed preferences. In the setting of personalized pricing for the provision of goods with positive benefits, we discuss how price optimization may provide unambiguous benefit by achieving a "triple bottom line": personalized pricing enables expanding access, which in turn may lead to gains in welfare due to heterogeneous utility, and improve revenue or budget utilization. We empirically demonstrate the potential benefits of personalized pricing in two settings: pricing subsidies for an elective vaccine, and the effects of personalized interest rates on downstream outcomes in microcredit. | 翻訳日:2021-04-29 12:22:41 公開日:2020-12-27 |
| # (参考訳) モチーフによるホモフィリー・ヘテロフィリーネットワーク変換の統一化 Unifying Homophily and Heterophily Network Transformation via Motifs ( http://arxiv.org/abs/2012.11400v2 ) ライセンス: CC BY 4.0 | Yan Ge, Jun Ma, Li Zhang, Haiping Lu | (参考訳) 高次近接(HOP)は、ノード埋め込みの品質と下流ネットワーク解析タスクの性能に大きな影響を与えるため、ほとんどのネットワーク埋め込み手法において基礎となる。
既存の HOP の定義の多くは、密接かつ高連結なノードを埋め込み空間に密に配置するホモフィリー(英語版)、あるいは、埋め込み後の遠いが構造的に類似したノードを一緒に配置するヘテロフィリー(英語版)に基づいている。
実世界のネットワークでは、どちらも共存可能であり、予測性能と解釈可能性を制限することができるのは一人だけである。
しかし、双方を考慮に入れた一般および普遍的な解は存在しない。
本稿では,ホモフィリおよびヘテロフィリ保存ネットワークトランスフォーメーション(H2NT)と呼ばれる,ホモフィリおよびヘテロフィリを柔軟に統一したHOPを捕捉するシンプルなフレームワークを提案する。
具体的には、h2ntはモチーフ表現を使用して、マイクロレベルとマクロレベルのウォークパスを介してハイブリッドな仮定でネットワークを新しいネットワークに変換する。
h2ntは、既存のネットワーク埋め込みメソッドと統合するためのエンハンサーとして、後者のメソッドを変更することなく使用できる。
H2NTはネットワークをモチーフ構造で分散化することができるため、統合時に既存のネットワーク埋め込み手法の計算効率を向上させることもできる。
ノード分類,構造的役割分類,モチーフ予測について実験を行い,最先端手法よりも優れた予測性能と計算効率を示す。
特に、DeepWalkベースのH2 NTでは、モチーフ予測の精度が24%向上し、オリジナルのDeepWalkに比べて計算時間が46%削減された。 Higher-order proximity (HOP) is fundamental for most network embedding methods due to its significant effects on the quality of node embedding and performance on downstream network analysis tasks. Most existing HOP definitions are based on either homophily to place close and highly interconnected nodes tightly in embedding space or heterophily to place distant but structurally similar nodes together after embedding. In real-world networks, both can co-exist, and thus considering only one could limit the prediction performance and interpretability. However, there is no general and universal solution that takes both into consideration. In this paper, we propose such a simple yet powerful framework called homophily and heterophliy preserving network transformation (H2NT) to capture HOP that flexibly unifies homophily and heterophily. Specifically, H2NT utilises motif representations to transform a network into a new network with a hybrid assumption via micro-level and macro-level walk paths. H2NT can be used as an enhancer to be integrated with any existing network embedding methods without requiring any changes to latter methods. Because H2NT can sparsify networks with motif structures, it can also improve the computational efficiency of existing network embedding methods when integrated. We conduct experiments on node classification, structural role classification and motif prediction to show the superior prediction performance and computational efficiency over state-of-the-art methods. In particular, DeepWalk-based H2 NT achieves 24% improvement in terms of precision on motif prediction, while reducing 46% computational time compared to the original DeepWalk. | 翻訳日:2021-04-27 12:40:52 公開日:2020-12-27 |
| # (参考訳) TicketTalk: エンドツーエンドのトランザクションベースのダイアログシステムによる人間レベルのパフォーマンスを目指して TicketTalk: Toward human-level performance with end-to-end, transaction-based dialog systems ( http://arxiv.org/abs/2012.12458v2 ) ライセンス: CC BY-SA 4.0 | Bill Byrne, Karthik Krishnamoorthi, Saravanan Ganesh, Mihir Sanjay Kale | (参考訳) 本稿では,トランザクションベースの対話システムに対して,音声応答品質と実測精度の観点から,ほぼ人間に近いレベルで動作する,データ駆動のエンドツーエンドアプローチを提案する。
システムの本質的な2つの構成要素は、十分に大きく多様なドメイン内ラベル付きデータセットと、言語応答とAPI呼び出し予測の両方を生成するニューラルネットワークベースの事前学習モデルである。
データに関しては、23,789の注釈付き会話を伴う映画チケット販売ダイアログデータセットであるTicketTalkを紹介する。
映画のチケットの会話は、知識ベース、談話の特徴、ターン数という観点から、完全にオープンで制限されていないものから、より構造化されたものまで様々である。
質的人間評価では、たった1万のチケットトークダイアログでトレーニングされたモデル生成応答は、86.5パーセントの確率で「意味を成す」ように評価され、同じ文脈で人間の反応とほとんど同じであった。
私たちのシンプルなAPI中心のアノテーションスキーマは、より高速でコスト効率の良いラベリングタスクをもたらします。
また、API呼び出しを正確に予測するための重要なコンポーネントでもある。
トレーニングデータにapiコールを組み込むことで、事実の接地を処理し、モデルがどのアクションを取るべきかを学習できるようにします。
同じ1万のダイアログセットでトレーニングされたこのモデルのAPIコール予測は、評価において93.9%の精度で正し、対応する人間のラベルのレーティングを上回った。
データセットサイズが5000から21,000に増加するにつれて,API予測と応答生成のスコアが向上することを示す。
我々の分析は、事前学習の利点も明らかに示している。
この論文では、トランザクションベースのダイアログの今後の作業を容易にするため、TicketTalkデータセットを公開しています。 We present a data-driven, end-to-end approach to transaction-based dialog systems that performs at near-human levels in terms of verbal response quality and factual grounding accuracy. We show that two essential components of the system produce these results: a sufficiently large and diverse, in-domain labeled dataset, and a neural network-based, pre-trained model that generates both verbal responses and API call predictions. In terms of data, we introduce TicketTalk, a movie ticketing dialog dataset with 23,789 annotated conversations. The movie ticketing conversations range from completely open-ended and unrestricted to more structured, both in terms of their knowledge base, discourse features, and number of turns. In qualitative human evaluations, model-generated responses trained on just 10,000 TicketTalk dialogs were rated to "make sense" 86.5 percent of the time, almost the same as human responses in the same contexts. Our simple, API-focused annotation schema results in a much easier labeling task making it faster and more cost effective. It is also the key component for being able to predict API calls accurately. We handle factual grounding by incorporating API calls in the training data, allowing our model to learn which actions to take and when. Trained on the same 10,000-dialog set, the model's API call predictions were rated to be correct 93.9 percent of the time in our evaluations, surpassing the ratings for the corresponding human labels. We show how API prediction and response generation scores improve as the dataset size incrementally increases from 5000 to 21,000 dialogs. Our analysis also clearly illustrates the benefits of pre-training. We are publicly releasing the TicketTalk dataset with this paper to facilitate future work on transaction-based dialogs. | 翻訳日:2021-04-26 05:47:17 公開日:2020-12-27 |
| # (参考訳) 情報システムの分類におけるグラフ理論 Graph Theory in the Classification of Information Systems ( http://arxiv.org/abs/2012.13182v2 ) ライセンス: CC0 1.0 | Daniel Zentai | (参考訳) リスク分類は多くの規制や基準において重要な役割を果たす。
しかし、最適分類を提供する一般的な方法はまだ提案されていない。
また、この規則では最適性の基準は定義されていない。
本稿では,この問題を説明するのに十分な数学的モデルを提案するとともに,多項式時間におけるリスク値に基づいて,グラフ頂点を分類するアルゴリズムを提案する。 Risk classification plays an important role in many regulations and standards. However, a general method that provides an optimal classification has not been proposed yet. Also, the criteria of optimality are not defined in these regulations. In this work, we will propose a mathematical model that is sufficient to describe this problem, and we also propose an algorithm that classifies graph vertices based on their risk value in polynomial time. | 翻訳日:2021-04-25 15:43:23 公開日:2020-12-27 |
| # (参考訳) 双方向LSTMを用いたfNIRSに基づく痛み評価 Pain Assessment based on fNIRS using Bidirectional LSTMs ( http://arxiv.org/abs/2012.13231v2 ) ライセンス: CC BY 4.0 | Raul Fernandez Rojas, Julio Romero, Jehu Lopez-Aparicio, Keng-Liang Ou | (参考訳) 話すことができない患者(非言語患者とも呼ばれる)の痛みの評価は非常に複雑であり、しばしば臨床判断によって行われる。
しかし、この方法が信頼性に乏しいのは、患者のバイタルサインが他の根底にある医療条件のために大きく変動するためである。
痛みの診断を支援する客観的診断テストは、これまで存在していない。
本研究では,機能的近赤外分光法(fNIRS)と深層学習を用いたヒトの痛み評価法を提案する。
本研究の目的は、深層学習を用いてfNIRS生データから特徴を自動的に学習し、手作り特徴の設計に必要な主観性とドメイン知識のレベルを下げることである。
4つのディープラーニングモデル、多層パーセプトロン(MLP)、前後長短期記憶ネットワーク(LSTM)、双方向LSTMを評価した。
その結果、Bi-LSTMモデルは他の3モデルよりも高い精度(90.6%)で高速であった。
これらの結果は, 神経画像を用いた痛み評価の知識を発達させ, 自己報告できない患者に利益をもたらすヒトの痛みの生理的診断に一歩近づいた。 Assessing pain in patients unable to speak (also called non-verbal patients) is extremely complicated and often is done by clinical judgement. However, this method is not reliable since patients vital signs can fluctuate significantly due to other underlying medical conditions. No objective diagnosis test exists to date that can assist medical practitioners in the diagnosis of pain. In this study we propose the use of functional near-infrared spectroscopy (fNIRS) and deep learning for the assessment of human pain. The aim of this study is to explore the use deep learning to automatically learn features from fNIRS raw data to reduce the level of subjectivity and domain knowledge required in the design of hand-crafted features. Four deep learning models were evaluated, multilayer perceptron (MLP), forward and backward long short-term memory net-works (LSTM), and bidirectional LSTM. The results showed that the Bi-LSTM model achieved the highest accuracy (90.6%)and faster than the other three models. These results advance knowledge in pain assessment using neuroimaging as a method of diagnosis and represent a step closer to developing a physiologically based diagnosis of human pain that will benefit vulnerable populations who cannot self-report pain. | 翻訳日:2021-04-25 14:34:29 公開日:2020-12-27 |
| # 文ベースモデル非依存NLP解釈可能性 Sentence-Based Model Agnostic NLP Interpretability ( http://arxiv.org/abs/2012.13189v2 ) ライセンス: Link先を確認 | Yves Rychener, Xavier Renard, Djam\'e Seddah, Pascal Frossard, Marcin Detyniecki | (参考訳) 今日、LIMEやSHAPのようなサロゲートに基づくブラックボックス自然言語処理(NLP)モデルの解釈可能性では、単語ベースのサンプリングを使用して説明を構築している。
本稿では,NLPの解釈可能性に対する文の利用について検討する。
この選択はまっすぐに思えるかもしれないが、bertのような複雑な分類器を使用すると、単語ベースのアプローチは計算の複雑さだけでなく、分散サンプリングの欠如も問題を引き起こし、最終的に確立されていない説明につながる。
文を用いることで、修正されたテキストは分散のままであり、同じ計算複雑性でブラックボックスへの忠実性を高めるために問題の次元が減少する。 Today, interpretability of Black-Box Natural Language Processing (NLP) models based on surrogates, like LIME or SHAP, uses word-based sampling to build the explanations. In this paper we explore the use of sentences to tackle NLP interpretability. While this choice may seem straight forward, we show that, when using complex classifiers like BERT, the word-based approach raises issues not only of computational complexity, but also of an out of distribution sampling, eventually leading to non founded explanations. By using sentences, the altered text remains in-distribution and the dimensionality of the problem is reduced for better fidelity to the black-box at comparable computational complexity. | 翻訳日:2021-04-25 08:26:08 公開日:2020-12-27 |
| # QUICKIE: 地上の真実を解説したNLP分類タスク QUACKIE: A NLP Classification Task With Ground Truth Explanations ( http://arxiv.org/abs/2012.13190v2 ) ライセンス: Link先を確認 | Yves Rychener, Xavier Renard, Djam\'e Seddah, Pascal Frossard, Marcin Detyniecki | (参考訳) NLP解釈可能性は、モデル予測における信頼を高めることを目的としている。
これにより、解釈可能性の評価がプレッシャー問題になる。
nlpの解釈性を評価するデータセットは複数存在するが、人間に提供された根拠の真理への依存は、その不偏性に関する疑問を提起する。
本研究では,質問応答データセットを分散させることにより,異なるアプローチで特定の分類タスクを定式化する。
このカスタム分類タスクでは、解釈可能性の基盤は分類問題の定義から直接生じる。
我々は,この手法を用いて,NLPの解釈可能性に関する今後の研究の基盤となるベンチマークを提案し,技術手法の幅広い現状を評価する。 NLP Interpretability aims to increase trust in model predictions. This makes evaluating interpretability approaches a pressing issue. There are multiple datasets for evaluating NLP Interpretability, but their dependence on human provided ground truths raises questions about their unbiasedness. In this work, we take a different approach and formulate a specific classification task by diverting question-answering datasets. For this custom classification task, the interpretability ground-truth arises directly from the definition of the classification problem. We use this method to propose a benchmark and lay the groundwork for future research in NLP interpretability by evaluating a wide range of current state of the art methods. | 翻訳日:2021-04-25 08:25:55 公開日:2020-12-27 |
| # (参考訳) 変圧器の属性に対する挿入情報 Inserting Information Bottlenecks for Attribution in Transformers ( http://arxiv.org/abs/2012.13838v1 ) ライセンス: CC BY 4.0 | Zhiying Jiang, Raphael Tang, Ji Xin, Jimmy Lin | (参考訳) 事前訓練されたトランスフォーマーは自然言語処理のタスクにまたがる芸術の状態を達成し、研究者が内部のメカニズムを調査する動機となる。
一般的な方向性の1つは、予測に重要な機能を理解することである。
本稿では,ブラックボックスモデル上での予測のために,各特徴の帰属分析に情報ボトルネックを適用する。
BERTを例として用いて,定量的かつ定性的にアプローチを評価する。
本手法の有効性を帰属性の観点から示し,情報がどのように層を流れるのかを考察する。
本手法は, 4つのデータセットの劣化試験において, 2つの競合手法より優れていることを示す。
コードはhttps://github.com/bazingagin/IBA.comで入手できる。 Pretrained transformers achieve the state of the art across tasks in natural language processing, motivating researchers to investigate their inner mechanisms. One common direction is to understand what features are important for prediction. In this paper, we apply information bottlenecks to analyze the attribution of each feature for prediction on a black-box model. We use BERT as the example and evaluate our approach both quantitatively and qualitatively. We show the effectiveness of our method in terms of attribution and the ability to provide insight into how information flows through layers. We demonstrate that our technique outperforms two competitive methods in degradation tests on four datasets. Code is available at https://github.com/bazingagin/IBA. | 翻訳日:2021-04-25 00:48:33 公開日:2020-12-27 |
| # (参考訳) SparsePipe: 3Dポイントクラウドのための並列ディープラーニング SparsePipe: Parallel Deep Learning for 3D Point Clouds ( http://arxiv.org/abs/2012.13846v1 ) ライセンス: CC BY 4.0 | Keke Zhai, Pan He, Tania Banerjee, Anand Rangarajan, and Sanjay Ranka | (参考訳) SparsePipeは,マルチGPUトレーニングによる3Dポイントクラウド処理のための,効率的かつ非同期な並列処理手法である。
SparsePipeは、ポイントクラウドなどの3Dスパースデータをサポートするために構築されている。
これは、表現力のある高次元畳み込みニューラルネットワークを構築するために、スパーステンソル表現の一般化畳み込みを採用することで実現される。
密度の高いソリューションと比較して、新しいモデルは不規則な点雲を、空間全体を密にすべることなく効率的に処理することができ、メモリ要件を大幅に削減し、基礎となる3dボリュームの解像度を高め、パフォーマンスを向上させることができる。
sparsepipeは、入力データを複数のプロセッサに分割するバッチ内並列処理を利用して、バッチ間パイプラインによるトレーニングスループットを改善し、通信とコンピューティングを重複させる。
さらに、gpuが異種である場合のモデルを適切に分割するので、計算の負荷バランスと通信オーバーヘッドの低減が図れる。
8GPUプラットフォーム上での実験結果から,SparsePipeは高密度ソリューションと比較して,トレーニングと推論の両方において,現在のポイントクラウドベンチマークで効率よく並列化し,パフォーマンスを向上させることができることを示す。 We propose SparsePipe, an efficient and asynchronous parallelism approach for handling 3D point clouds with multi-GPU training. SparsePipe is built to support 3D sparse data such as point clouds. It achieves this by adopting generalized convolutions with sparse tensor representation to build expressive high-dimensional convolutional neural networks. Compared to dense solutions, the new models can efficiently process irregular point clouds without densely sliding over the entire space, significantly reducing the memory requirements and allowing higher resolutions of the underlying 3D volumes for better performance. SparsePipe exploits intra-batch parallelism that partitions input data into multiple processors and further improves the training throughput with inter-batch pipelining to overlap communication and computing. Besides, it suitably partitions the model when the GPUs are heterogeneous such that the computing is load-balanced with reduced communication overhead. Using experimental results on an eight-GPU platform, we show that SparsePipe can parallelize effectively and obtain better performance on current point cloud benchmarks for both training and inference, compared to its dense solutions. | 翻訳日:2021-04-25 00:36:10 公開日:2020-12-27 |
| # (参考訳) 力学系におけるニューラルクロージャモデル Neural Closure Models for Dynamical Systems ( http://arxiv.org/abs/2012.13869v1 ) ライセンス: CC BY 4.0 | Abhinav Gupta and Pierre F.J. Lermusiaux | (参考訳) 複雑な力学系は多くの応用において予測に使用される。
計算コストのため、モデルはしばしば切り詰められ、粗くなり、集約される。
無視され未解決な条件と解決された条件との相互作用が重要になるにつれて、モデル予測の有用性が低下する。
低忠実度モデルの非マルコフ閉包パラメータ化を高忠実度シミュレーションのデータを用いて学習するための新しい汎用的・厳密な手法を開発した。
ニューラルクロージャモデル」は、モリ・ズワンジグの定式化と自然力学系の固有遅延によって動機付けられた、神経遅延微分方程式(nDDE)を用いた低忠実度モデルを強化する。
ニューラルクロージャが低次モデルにおける停止モードを効率的に考慮し、粗いモデルにおけるサブグリッドスケールプロセスの効果を捉え、複雑な生化学モデルの単純化を促進することを実証する。
マルコフ閉包に非マルコフ閉包を用いることで、長期的精度が向上し、ネットワークが小さくなることを示す。
新しい離散分散nddesを効率的に実装するために必要となる随伴方程式導出とネットワークアーキテクチャを提供する。
閉包モデルにおける離散的分散遅延の性能を情報理論を用いて説明し、特定のアーキテクチャにおいて最適な過去の情報量を観察した。
最後に,計算複雑性を分析し,ニューラルクロージャモデルによる追加コストの制限を説明する。 Complex dynamical systems are used for predictions in many applications. Because of computational costs, models are however often truncated, coarsened, or aggregated. As the neglected and unresolved terms along with their interactions with the resolved ones become important, the usefulness of model predictions diminishes. We develop a novel, versatile, and rigorous methodology to learn non-Markovian closure parameterizations for low-fidelity models using data from high-fidelity simulations. The new "neural closure models" augment low-fidelity models with neural delay differential equations (nDDEs), motivated by the Mori-Zwanzig formulation and the inherent delays in natural dynamical systems. We demonstrate that neural closures efficiently account for truncated modes in reduced-order-models, capture the effects of subgrid-scale processes in coarse models, and augment the simplification of complex biochemical models. We show that using non-Markovian over Markovian closures improves long-term accuracy and requires smaller networks. We provide adjoint equation derivations and network architectures needed to efficiently implement the new discrete and distributed nDDEs. The performance of discrete over distributed delays in closure models is explained using information theory, and we observe an optimal amount of past information for a specified architecture. Finally, we analyze computational complexity and explain the limited additional cost due to neural closure models. | 翻訳日:2021-04-25 00:14:12 公開日:2020-12-27 |
| # (参考訳) オンライン広告におけるユーザモデリングのためのマルチチャネルシーケンシャル行動ネットワーク Multi-Channel Sequential Behavior Networks for User Modeling in Online Advertising ( http://arxiv.org/abs/2012.15728v1 ) ライセンス: CC BY 4.0 | Iyad Batal and Akshay Soni | (参考訳) 複数のコンテンツプロバイダは、ページのオーガニックコンテンツに広告を配置することで、収益のためにネイティブ広告に頼っている。
この設定を `queryless' と呼び、ユーザーが検索クエリを提出して関連する広告を取得する検索広告と区別する。
関連する広告はユーザー体験を改善し、広告主に価値あるクリックを届ける可能性を高めるので、ユーザーの意図を理解することは重要です。
本稿では,ユーザと広告を関連性を評価可能な意味空間に埋め込むための深層学習手法であるマルチチャネルシーケンシャル行動ネットワーク(mc-sbn)を提案する。
提案するユーザエンコーダアーキテクチャでは,過去の検索クエリや訪問ページ,クリックした広告など,複数の入力チャネルからのユーザアクティビティをユーザベクトルにまとめる。
複数のRNNを使用して、異なるチャネルからイベントセッションのシーケンスをエンコードし、ユーザ表現を作成するためにアテンションメカニズムを適用する。
当社のアプローチの重要な特性は,ユーザベクトルのメンテナンスと更新が段階的に可能であることです。
実世界のデータセットに関する広範な実験を行う。
その結果,mc-sbnは関連する広告のランク付けを改善し,クエリレスネイティブ広告におけるクリック予測とコンバージョン予測の両方のパフォーマンスを向上させることができた。 Multiple content providers rely on native advertisement for revenue by placing ads within the organic content of their pages. We refer to this setting as ``queryless'' to differentiate from search advertisement where a user submits a search query and gets back related ads. Understanding user intent is critical because relevant ads improve user experience and increase the likelihood of delivering clicks that have value to our advertisers. This paper presents Multi-Channel Sequential Behavior Network (MC-SBN), a deep learning approach for embedding users and ads in a semantic space in which relevance can be evaluated. Our proposed user encoder architecture summarizes user activities from multiple input channels--such as previous search queries, visited pages, or clicked ads--into a user vector. It uses multiple RNNs to encode sequences of event sessions from the different channels and then applies an attention mechanism to create the user representation. A key property of our approach is that user vectors can be maintained and updated incrementally, which makes it feasible to be deployed for large-scale serving. We conduct extensive experiments on real-world datasets. The results demonstrate that MC-SBN can improve the ranking of relevant ads and boost the performance of both click prediction and conversion prediction in the queryless native advertising setting. | 翻訳日:2021-04-25 00:13:08 公開日:2020-12-27 |
| # (参考訳) ARBERT & MARBERT:アラビア語用双方向変換器 ARBERT & MARBERT: Deep Bidirectional Transformers for Arabic ( http://arxiv.org/abs/2101.01785v1 ) ライセンス: CC BY 4.0 | Muhammad Abdul-Mageed, AbdelRahim Elmadany, El Moatez Billah Nagoudi | (参考訳) マスケッド言語モデル(MLM)は多くの自然言語処理システムにおいて不可欠な部分となっている。
多言語MLMは、多くの言語を提供するために導入されたが、これらには、事前訓練されている英語以外のデータのサイズと多様性に関する制限がある。
本研究では、アラビア語におけるこれらの問題を、既存のモデルよりも優れた性能を持つ2つの強力な双方向トランスフォーマーモデル、ARBERTとMARBERTを導入することで改善する。
本モデルを評価するために,多言語アラビア語理解のための新しいベンチマークArBenchを提案する。
ArBenchは5つのタスク/タスククラスタを対象とした41のデータセットを使用して構築されています。
ArBenchで微調整された場合、ArBERTとMARBERTは、41データセット(%82.22)の45の分類タスクのうち37の領域で、mBERT、XLM-R(Base and Large)、AraBERTといった既存のモデルと比較して大きなマージンを持つ新しいSOTAを達成する。
私たちのモデルは研究用に公開されています。 Masked language models (MLM) have become an integral part of many natural language processing systems. Although multilingual MLMs have been introduced to serve many languages, these have limitations as to their capacity and the size and diversity of non-English data they are pre-trained on. In this work, we remedy these issues for Arabic by introducing two powerful deep bidirectional transformer-based models, ARBERT and MARBERT, that have superior performance to all existing models. To evaluate our models, we propose ArBench, a new benchmark for multi-dialectal Arabic language understanding. ArBench is built using 41 datasets targeting 5 different tasks/task clusters, allowing us to offer a series of standardized experiments under rich conditions. When fine-tuned on ArBench, ARBERT and MARBERT collectively achieve new SOTA with sizeable margins compared to all existing models such as mBERT, XLM-R (Base and Large), and AraBERT on 37 out of 45 classification tasks on the 41 datasets (%82.22). Our models are publicly available for research. | 翻訳日:2021-04-24 23:58:49 公開日:2020-12-27 |
| # (参考訳) 感染拡大予測のための空間-時間畳み込みネットワーク Spatial-Temporal Convolutional Network for Spread Prediction of COVID-19 ( http://arxiv.org/abs/2101.05304v1 ) ライセンス: CC BY 4.0 | Ravid Shwartz-Ziv, Itamar Ben Ari and Amitai Armon | (参考訳) 本研究では,過去報告された症状を考慮に入れた地域別covid-19関連症状予測のための空間-時間的畳み込みニューラルネットワークを提案する。
これにより、各地域における将来のCovid-19患者の数を近似することができ、例えば、地元の病院を準備したり、必要に応じて局所的なロックダウンを宣言したりといったより迅速な対応が可能になる。
本モデルは,イスラエルに分布する全国的症状調査に基づいて,毎日各地域で症状の重症度を予測する。
モデルには,(1)学習領域ベースアンケート応答者プロファイルと(2)症状進行予測のための空間-時間的3次元畳み込みニューラルネットワークの2つの主成分が含まれている。 In this work we present a spatial-temporal convolutional neural network for predicting future COVID-19 related symptoms severity among a population, per region, given its past reported symptoms. This can help approximate the number of future Covid-19 patients in each region, thus enabling a faster response, e.g., preparing the local hospital or declaring a local lockdown where necessary. Our model is based on a national symptom survey distributed in Israel and can predict symptoms severity for different regions daily. The model includes two main parts - (1) learned region-based survey responders profiles used for aggregating questionnaires data into features (2) Spatial-Temporal 3D convolutional neural network which uses the above features to predict symptoms progression. | 翻訳日:2021-04-24 23:18:04 公開日:2020-12-27 |
| # (参考訳) CostVolume Networkを用いたライダーとカメラの自己校正 Lidar and Camera Self-Calibration using CostVolume Network ( http://arxiv.org/abs/2012.13901v1 ) ライセンス: CC BY 4.0 | Xudong Lv, Boya Wang, Dong Ye, Shuo Wang | (参考訳) 本稿では,光検出・照準(LiDAR)とカメラセンサのためのオンライン自己校正手法を提案する。
RGB画像の特徴マップとdecalibated depth画像とを結合した従来のCNNベースの手法と比較して,PWC-Netに触発されたコストを特徴マッチングに用いる。
予測外因性キャリブレーションパラメータの滑らかなL1-Lossに加えて、追加の点雲損失が適用される。
我々は,LiDARとカメラ間の外部パラメータを直接回帰する代わりに,初期校正から地平への偏差を予測した。
推定中,反復的改良法と時間的フィルタリング法を用いることで,キャリブレーション誤差はさらに減少する。
KITTIデータセットによる評価結果は, 平均絶対校正誤差が0.297cm, 0.017{\degが最大1.5m, 20{\degの精度でCNN法よりも優れていることを示す。 In this paper, we propose a novel online self-calibration approach for Light Detection and Ranging (LiDAR) and camera sensors. Compared to the previous CNN-based methods that concatenate the feature maps of the RGB image and decalibrated depth image, we exploit the cost volume inspired by the PWC-Net for feature matching. Besides the smooth L1-Loss of the predicted extrinsic calibration parameters, an additional point cloud loss is applied. Instead of regress the extrinsic parameters between LiDAR and camera directly, we predict the decalibrated deviation from initial calibration to the ground truth. During inference, the calibration error decreases further with the usage of iterative refinement and the temporal filtering approach. The evaluation results on the KITTI dataset illustrate that our approach outperforms CNN-based state-of-the-art methods in terms of a mean absolute calibration error of 0.297cm in translation and 0.017{\deg} in rotation with miscalibration magnitudes of up to 1.5m and 20{\deg}. | 翻訳日:2021-04-24 22:46:02 公開日:2020-12-27 |
| # (参考訳) 累積相対周波数分布による意見スパム検出の改善 Improving Opinion Spam Detection by Cumulative Relative Frequency Distribution ( http://arxiv.org/abs/2012.13905v1 ) ライセンス: CC BY 4.0 | Michela Fazzolari and Francesco Buccafurri and Gianluca Lax and Marinella Petrocchi | (参考訳) 近年,消費者の購買判断や企業評価に影響を及ぼすため,オンラインレビューの重要性が高まっており,偽レビューを書くことは顧客やサービス提供者に深刻な影響を与える可能性がある。
オンラインレビューにおける意見スパムの検出には,特に教師付き分類器に基づく様々なアプローチが提案されている。
本稿では,意見スパムの分類に有効な特徴の集合から始め,各特徴の累積相対周波数分布を考慮し,それらを再設計する。
Yelp.comによる実データを用いた実験により,分布特性の利用により分類器の性能が向上することを示した。 Over the last years, online reviews became very important since they can influence the purchase decision of consumers and the reputation of businesses, therefore, the practice of writing fake reviews can have severe consequences on customers and service providers. Various approaches have been proposed for detecting opinion spam in online reviews, especially based on supervised classifiers. In this contribution, we start from a set of effective features used for classifying opinion spam and we re-engineered them, by considering the Cumulative Relative Frequency Distribution of each feature. By an experimental evaluation carried out on real data from Yelp.com, we show that the use of the distributional features is able to improve the performances of classifiers. | 翻訳日:2021-04-24 22:31:56 公開日:2020-12-27 |
| # (参考訳) 音声映像感情認識のための感情特徴と融合戦略の探索 Exploring Emotion Features and Fusion Strategies for Audio-Video Emotion Recognition ( http://arxiv.org/abs/2012.13912v1 ) ライセンス: CC BY 4.0 | Hengshun Zhou, Debin Meng, Yuanyuan Zhang, Xiaojiang Peng, Jun Du, Kai Wang, Yu Qiao | (参考訳) オーディオビデオに基づく感情認識は、ある動画を基本的な感情に分類することを目的としている。
本稿では,音声と視覚モダリティのための感情特徴と特徴融合戦略を主に研究するemotiw 2019のアプローチについて述べる。
感情特徴について,音声特徴を音声スペクトログラムとLog Mel-spectrogramで検討し,様々なCNNモデルと異なる感情事前学習戦略を用いて複数の顔特徴を評価する。
融合戦略については,重要な感情特徴を強調する注意機構の設計,特徴連結と因子化双線型プール(fbp)の探索など,モーダル内・クロスモーダル融合法を検討する。
慎重に評価すると、AFEW検証セットで65.5%、テストセットで62.48%、チャレンジで3位となる。 The audio-video based emotion recognition aims to classify a given video into basic emotions. In this paper, we describe our approaches in EmotiW 2019, which mainly explores emotion features and feature fusion strategies for audio and visual modality. For emotion features, we explore audio feature with both speech-spectrogram and Log Mel-spectrogram and evaluate several facial features with different CNN models and different emotion pretrained strategies. For fusion strategies, we explore intra-modal and cross-modal fusion methods, such as designing attention mechanisms to highlights important emotion feature, exploring feature concatenation and factorized bilinear pooling (FBP) for cross-modal feature fusion. With careful evaluation, we obtain 65.5% on the AFEW validation set and 62.48% on the test set and rank third in the challenge. | 翻訳日:2021-04-24 22:14:37 公開日:2020-12-27 |
| # (参考訳) 非参照ビデオ品質評価のための一般化空間時間深部特徴表現の学習 Learning Generalized Spatial-Temporal Deep Feature Representation for No-Reference Video Quality Assessment ( http://arxiv.org/abs/2012.13936v1 ) ライセンス: CC BY 4.0 | Baoliang Chen, Lingyu Zhu, Guo Li, Hongfei Fan, and Shiqi Wang | (参考訳) 本研究では,非参照ビデオ品質評価手法を提案し,クロスコンテンツ,解像度,フレームレートの予測において高次化を実現することを目的とする。
特に,空間-時間領域における効果的な特徴表現を学習することにより,映像の質を評価する。
空間領域では,解像度とコンテンツのばらつきに取り組むために,品質特性にガウス分布制約を課す。
統一分布は、異なるビデオサンプル間の領域ギャップを大幅に減らし、より一般化された品質特徴表現をもたらす。
視覚知覚のメカニズムに触発された時間次元に沿って,フレームレベルの品質を集約するために短期記憶と長期記憶を含むピラミッド時間集約モジュールを提案する。
実験により,提案手法は, クロスデータセット設定における最先端の手法よりも優れ, データベース内構成において同等の性能を示し, 提案手法の高一般化能力を示す。 In this work, we propose a no-reference video quality assessment method, aiming to achieve high-generalization capability in cross-content, -resolution and -frame rate quality prediction. In particular, we evaluate the quality of a video by learning effective feature representations in spatial-temporal domain. In the spatial domain, to tackle the resolution and content variations, we impose the Gaussian distribution constraints on the quality features. The unified distribution can significantly reduce the domain gap between different video samples, resulting in a more generalized quality feature representation. Along the temporal dimension, inspired by the mechanism of visual perception, we propose a pyramid temporal aggregation module by involving the short-term and long-term memory to aggregate the frame-level quality. Experiments show that our method outperforms the state-of-the-art methods on cross-dataset settings, and achieves comparable performance on intra-dataset configurations, demonstrating the high-generalization capability of the proposed method. | 翻訳日:2021-04-24 22:06:53 公開日:2020-12-27 |
| # (参考訳) 意味的役割ラベリングのための適応畳み込み Adaptive Convolution for Semantic Role Labeling ( http://arxiv.org/abs/2012.13939v1 ) ライセンス: CC0 1.0 | Kashif Munir, Hai Zhao, Zuchao Li | (参考訳) 意味的役割ラベリング(SRL)は、述語句構造を形成することによって文の意味を解明することを目的としている。
近年の研究では、構文の効果的な利用はSRLの性能を向上させることが示されている。
しかし、構文は複雑な言語的手がかりであり、SRLのような下流タスクに効果的に適用することは困難である。
本研究は既存の畳み込みネットワークに強い柔軟性をもたらす適応畳み込みを用いた構文を効果的にエンコードする。
既存のCNNはSRLの構文のような複雑な構造を符号化するのに役立ちますが、まだ欠点があります。
異なる入力に同じフィルタを使用する従来の畳み込みネットワークとは対照的に、適応畳み込みは、構文的に入力に条件付けられた適応的に生成されたフィルタを使用する。
我々は,入力特定フィルタを生成するフィルタ生成ネットワークの統合により,これを実現する。
これにより、モデルが入力内に存在する重要な構文的特徴に集中し、構文認識と構文認識のSRLシステム間のギャップを拡大する。
さらに、トレーニング可能なパラメータの観点から、SRLのフィルタ生成ネットワークのサイズを圧縮するハッシュ手法について検討する。
CoNLL-2009データセットの実験により、提案されたモデルは、英語と中国語の両方の以前のSRLシステムよりも大幅に優れていることを確認した。 Semantic role labeling (SRL) aims at elaborating the meaning of a sentence by forming a predicate-argument structure. Recent researches depicted that the effective use of syntax can improve SRL performance. However, syntax is a complicated linguistic clue and is hard to be effectively applied in a downstream task like SRL. This work effectively encodes syntax using adaptive convolution which endows strong flexibility to existing convolutional networks. The existing CNNs may help in encoding a complicated structure like syntax for SRL, but it still has shortcomings. Contrary to traditional convolutional networks that use same filters for different inputs, adaptive convolution uses adaptively generated filters conditioned on syntactically informed inputs. We achieve this with the integration of a filter generation network which generates the input specific filters. This helps the model to focus on important syntactic features present inside the input, thus enlarging the gap between syntax-aware and syntax-agnostic SRL systems. We further study a hashing technique to compress the size of the filter generation network for SRL in terms of trainable parameters. Experiments on CoNLL-2009 dataset confirm that the proposed model substantially outperforms most previous SRL systems for both English and Chinese languages | 翻訳日:2021-04-24 21:46:35 公開日:2020-12-27 |
| # (参考訳) 教師なし学習を用いたデジタル病理の全画像スライドの一般化分類 Generalized Categorisation of Digital Pathology Whole Image Slides using Unsupervised Learning ( http://arxiv.org/abs/2012.13955v1 ) ライセンス: CC BY 4.0 | Mostafa Ibrahim, Kevin Bryson | (参考訳) 本研究の目的は,大きな病理像を小さなタイルに分割し,そのタイルを真のラベルを知らずに別々のグループに分類することであり,腫瘍細胞と非腫瘍細胞をクラスタリングすることの難しさを示すとともに,異なる教師なしアプローチの結果を比較することは自明な作業ではないことを示すことである。
このプロジェクトはまた、デジタル病理コミュニティが使用するソフトウェアパッケージを提供しており、教師なしタイル分類を実行するために開発されたいくつかのアプローチを使用して、手動でラベル付けすることが容易である。
このプロジェクトでは、K-MeansやGaussian Mixture Modelsといった古典的なクラスタリングアルゴリズムから、Deep AutoencodersやMulti-loss Learningといったより複雑な特徴抽出技術まで、さまざまなテクニックが使用されている。
プロジェクト全体を通して,完全性スコアやクラスタプロットといったいくつかの尺度を用いて評価基準の設定を試みる。
その結果,畳み込み型オートエンコーダは,その強力な内部表現学習能力により,他の手法をわずかに上回っていることがわかった。
さらに, ガウス混合モデルでは, クラスターのキャプチャが柔軟であるため, 平均k平均よりも優れた結果が得られることを示した。
また,異なる種類の病理組織を分類することの難しさにも大きな違いがある。 This project aims to break down large pathology images into small tiles and then cluster those tiles into distinct groups without the knowledge of true labels, our analysis shows how difficult certain aspects of clustering tumorous and non-tumorous cells can be and also shows that comparing the results of different unsupervised approaches is not a trivial task. The project also provides a software package to be used by the digital pathology community, that uses some of the approaches developed to perform unsupervised unsupervised tile classification, which could then be easily manually labelled. The project uses a mixture of techniques ranging from classical clustering algorithms such as K-Means and Gaussian Mixture Models to more complicated feature extraction techniques such as deep Autoencoders and Multi-loss learning. Throughout the project, we attempt to set a benchmark for evaluation using a few measures such as completeness scores and cluster plots. Throughout our results we show that Convolutional Autoencoders manages to slightly outperform the rest of the approaches due to its powerful internal representation learning abilities. Moreover, we show that Gaussian Mixture models produce better results than K-Means on average due to its flexibility in capturing different clusters. We also show the huge difference in the difficulties of classifying different types of pathology textures. | 翻訳日:2021-04-24 21:17:02 公開日:2020-12-27 |
| # (参考訳) 極度勾配ブースティングを用いたメールスパム検出システム Effective Email Spam Detection System using Extreme Gradient Boosting ( http://arxiv.org/abs/2012.14430v1 ) ライセンス: CC BY 4.0 | Ismail B. Mustapha, Shafaatunnur Hasan, Sunday O. Olatunji, Siti Mariyam Shamsuddin, Afolabi Kazeem | (参考訳) 電子メールが電子デバイスユーザーに提供している人気、費用効果、情報交換の容易さは、迷惑メールやスパムメールの増加に苦しめられている。
スパムメールのフィルタリング/検出システムの研究は、この10年でますます活発になっている。
しかし、スパムメールの適応性はしばしばこれらのシステムの大半を非効率にしている。
いくつかのスパム検出モデルが文献で報告されているが、サンプルデータのアウトオブサンプルのパフォーマンスは、さらなる改善の余地を示している。
本研究で提示されたスパム検出モデルでは,スパム検出問題にほとんど注意を払わなかったxgboost(extremegradient boosting)に基づいたスパム検出モデルが改善されている。
実験結果から,提案手法は様々な評価指標において,従来の手法よりも優れていることがわかった。
また,従来の研究結果と比較し,モデル結果の徹底的な分析を行った。 The popularity, cost-effectiveness and ease of information exchange that electronic mails offer to electronic device users has been plagued with the rising number of unsolicited or spam emails. Driven by the need to protect email users from this growing menace, research in spam email filtering/detection systems has being increasingly active in the last decade. However, the adaptive nature of spam emails has often rendered most of these systems ineffective. While several spam detection models have been reported in literature, the reported performance on an out of sample test data shows the room for more improvement. Presented in this research is an improved spam detection model based on Extreme Gradient Boosting (XGBoost) which to the best of our knowledge has received little attention spam email detection problems. Experimental results show that the proposed model outperforms earlier approaches across a wide range of evaluation metrics. A thorough analysis of the model results in comparison to the results of earlier works is also presented. | 翻訳日:2021-04-24 21:15:46 公開日:2020-12-27 |
| # (参考訳) ドメイン拡張型教師付きコントラスト学習によるドメイン一般化(学生要約) Domain Generalisation with Domain Augmented Supervised Contrastive Learning (Student Abstract) ( http://arxiv.org/abs/2012.13973v1 ) ライセンス: CC BY 4.0 | Hoang Son Le, Rini Akmeliawati, Gustavo Carneiro | (参考訳) ドメイン一般化(DG)法は、トレーニングとターゲットドメインの分布にミスマッチがある場合に、ドメインシフトの問題に対処する。
データ拡張アプローチがDGの有望な代替手段として登場した。
しかし、データの増大だけでは、より低い一般化誤差を達成するには不十分である。
本研究では,データ拡張に関する問題に対処するために,データ拡張とドメイン距離最小化を組み合わせた新しい手法を提案する。
実験により,本手法はDGベンチマークのベースライン結果を上回った。 Domain generalisation (DG) methods address the problem of domain shift, when there is a mismatch between the distributions of training and target domains. Data augmentation approaches have emerged as a promising alternative for DG. However, data augmentation alone is not sufficient to achieve lower generalisation errors. This project proposes a new method that combines data augmentation and domain distance minimisation to address the problems associated with data augmentation and provide a guarantee on the learning performance, under an existing framework. Empirically, our method outperforms baseline results on DG benchmarks. | 翻訳日:2021-04-24 21:06:42 公開日:2020-12-27 |
| # (参考訳) MeDAL: 自然言語理解のための医学的省略曖昧化データセット MeDAL: Medical Abbreviation Disambiguation Dataset for Natural Language Understanding Pretraining ( http://arxiv.org/abs/2012.13978v1 ) ライセンス: CC BY 4.0 | Zhi Wen, Xing Han Lu, Siva Reddy | (参考訳) 臨床環境での多くのNLPメソッドの使用を禁止する最大の課題の1つは、パブリックデータセットの可用性である。
本稿では,医学領域における事前学習の自然言語理解を目的とした,略語曖昧化のための大規模医療用テキストデータセットMeDALを提案する。
このデータセット上で共通アーキテクチャのモデルをいくつか事前トレーニングし,その事前トレーニングが下流医療タスクの微調整時のパフォーマンス向上と収束速度の向上につながることを実証的に示した。 One of the biggest challenges that prohibit the use of many current NLP methods in clinical settings is the availability of public datasets. In this work, we present MeDAL, a large medical text dataset curated for abbreviation disambiguation, designed for natural language understanding pre-training in the medical domain. We pre-trained several models of common architectures on this dataset and empirically showed that such pre-training leads to improved performance and convergence speed when fine-tuning on downstream medical tasks. | 翻訳日:2021-04-24 21:02:40 公開日:2020-12-27 |
| # (参考訳) 最小コントラスト編集(MiCE)によるNLPモデルの記述 Explaining NLP Models via Minimal Contrastive Editing (MiCE) ( http://arxiv.org/abs/2012.13985v1 ) ライセンス: CC BY 4.0 | Alexis Ross, Ana Marasovi\'c, Matthew E. Peters | (参考訳) 人間は、観察された出来事が、他のカウンターファクトイベント(コントラストケース)よりもむしろ起こった理由を説明する対照的な説明をする。
コントラシティーは人々が説明を生成・評価する上で重要な役割を担っているが、この性質はNLPモデルを説明するための現在の手法にはほとんど欠落している。
本研究では,モデルをコントラストケースに出力する入力に対して,モデル予測のコントラスト的説明を編集形式で生成する手法であるminimum contrastive editing (mice)を提案する。
バイナリ感情分類、トピック分類、複数選択質問応答という3つのタスクにわたる実験は、MiCEがコントラストのあるだけでなく、最小限の、人間のコントラストのある編集と整合した編集を生成することができることを示している。
NLPシステム開発における2つのユースケース -- データセットのアーティファクトの発見と誤ったモデル予測のデバッグ -- にMiCE編集をどのように使用できるかを示し、対照的な説明を生成することがモデル解釈可能性のための有望な研究方向であることを示す。 Humans give contrastive explanations that explain why an observed event happened rather than some other counterfactual event (the contrast case). Despite the important role that contrastivity plays in how people generate and evaluate explanations, this property is largely missing from current methods for explaining NLP models. We present Minimal Contrastive Editing (MiCE), a method for generating contrastive explanations of model predictions in the form of edits to inputs that change model outputs to the contrast case. Our experiments across three tasks -- binary sentiment classification, topic classification, and multiple-choice question answering -- show that MiCE is able to produce edits that are not only contrastive, but also minimal and fluent, consistent with human contrastive edits. We demonstrate how MiCE edits can be used for two use cases in NLP system development -- uncovering dataset artifacts and debugging incorrect model predictions -- and thereby illustrate that generating contrastive explanations is a promising research direction for model interpretability. | 翻訳日:2021-04-24 20:53:43 公開日:2020-12-27 |
| # (参考訳) アドホック情報検索のためのニューラル文書拡張 Neural document expansion for ad-hoc information retrieval ( http://arxiv.org/abs/2012.14005v1 ) ライセンス: CC BY 4.0 | Cheng Tang, Andrew Arnold | (参考訳) 最近nogueiraとal。
[2019] は,ニューラルSeq2Seqモデルに基づく文書拡張のための新しい手法を提案し,短いテキスト検索タスクに大きな改善を加えた。
しかし、このアプローチには大量のドメイン内のトレーニングデータが必要です。
本稿では,このニューラル文書拡張手法が,ラベルが乏しく,多くの長い文書が存在する標準IRタスクに効果的に適用可能であることを示す。 Recently, Nogueira et al. [2019] proposed a new approach to document expansion based on a neural Seq2Seq model, showing significant improvement on short text retrieval task. However, this approach needs a large amount of in-domain training data. In this paper, we show that this neural document expansion approach can be effectively adapted to standard IR tasks, where labels are scarce and many long documents are present. | 翻訳日:2021-04-24 20:28:24 公開日:2020-12-27 |
| # 過パラメータニューラルネットワークの数学的モデル Mathematical Models of Overparameterized Neural Networks ( http://arxiv.org/abs/2012.13982v1 ) ライセンス: Link先を確認 | Cong Fang and Hanze Dong and Tong Zhang | (参考訳) 近年、深層学習は実証的な成功を収めている。
しかし、多くのアドホックなトリックが実践者によって発見されている一方で、近年まで深層学習文学で考案されたトリックの理論的な理解が欠如している。
過パラメータニューラルネットワークは学習しやすいという実践者によって知られているが、過去数年間、過パラメータニューラルネットワークの分析において重要な理論的発展があった。
特に,2層nnなどの様々な制約条件下では,そのようなシステムは凸系のように振る舞うことが示され,学習が特殊な初期化に関するいわゆる神経接核空間において局所的に制限されている。
本稿では,ニューラルネットワークの理解を深める上での最近の進歩について論じる。
我々は,2層ニューラルネットワークの解析に注目し,そのアルゴリズム的意味から,重要な数学的モデルを説明する。
次に、ディープニューラルネットワークと現在の研究方向を理解するための課題について論じる。 Deep learning has received considerable empirical successes in recent years. However, while many ad hoc tricks have been discovered by practitioners, until recently, there has been a lack of theoretical understanding for tricks invented in the deep learning literature. Known by practitioners that overparameterized neural networks are easy to learn, in the past few years there have been important theoretical developments in the analysis of overparameterized neural networks. In particular, it was shown that such systems behave like convex systems under various restricted settings, such as for two-layer NNs, and when learning is restricted locally in the so-called neural tangent kernel space around specialized initializations. This paper discusses some of these recent progresses leading to significant better understanding of neural networks. We will focus on the analysis of two-layer neural networks, and explain the key mathematical models, with their algorithmic implications. We will then discuss challenges in understanding deep neural networks and some current research directions. | 翻訳日:2021-04-24 20:16:22 公開日:2020-12-27 |
| # SMART:分散文法を用いた代数的ストーリー問題の状況モデル SMART: A Situation Model for Algebra Story Problems via Attributed Grammar ( http://arxiv.org/abs/2012.14011v1 ) ライセンス: Link先を確認 | Yining Hong, Qing Li, Ran Gong, Daniel Ciao, Siyuan Huang, Song-Chun Zhu | (参考訳) 代数的ストーリー問題の解決は、現実の状況の詳細な理解と強力な数学的推論能力を必要とする人工知能において依然として難しい課題である。
数学の単語問題の以前の神経解法は、問題テキストを直接方程式に変換し、状況の明確な解釈を欠き、しばしばより洗練された状況に対処できない。
このようなニューラルソルバの限界に対処するために,問題解決における人間の精神状態を表現する心理学的研究から生まれた \emph{situation model} の概念を導入し,代数的ストーリー問題の状況モデルの表現として帰属文法を採用する \emph{smart} を提案する。
具体的には、まず、問題テキストからノード、属性、関係を抽出するための情報抽出モジュールを訓練し、事前定義された帰属文法に基づいてパースグラフを生成する。
また,SMARTの性能向上のための反復学習戦略も提案されている。
このタスクを厳密に研究するために、新しいデータセットである \emph{ASP6.6k} を慎重にキュレートする。
asp6.6kの実験結果は、提案モデルが、より優れた解釈性を維持しつつ、従来の全ての神経ソルバを大きなマージンで上回っていることを示している。
これらのモデルの一般化能力をテストするために、我々は、トレーニングセットよりも問題を複雑にするout-of-distribution (ood) 評価も設計する。
本モデルでは,OOD評価における最先端モデルよりも17倍の精度で,より優れた一般化能力を示す。 Solving algebra story problems remains a challenging task in artificial intelligence, which requires a detailed understanding of real-world situations and a strong mathematical reasoning capability. Previous neural solvers of math word problems directly translate problem texts into equations, lacking an explicit interpretation of the situations, and often fail to handle more sophisticated situations. To address such limits of neural solvers, we introduce the concept of a \emph{situation model}, which originates from psychology studies to represent the mental states of humans in problem-solving, and propose \emph{SMART}, which adopts attributed grammar as the representation of situation models for algebra story problems. Specifically, we first train an information extraction module to extract nodes, attributes, and relations from problem texts and then generate a parse graph based on a pre-defined attributed grammar. An iterative learning strategy is also proposed to improve the performance of SMART further. To rigorously study this task, we carefully curate a new dataset named \emph{ASP6.6k}. Experimental results on ASP6.6k show that the proposed model outperforms all previous neural solvers by a large margin while preserving much better interpretability. To test these models' generalization capability, we also design an out-of-distribution (OOD) evaluation, in which problems are more complex than those in the training set. Our model exceeds state-of-the-art models by 17\% in the OOD evaluation, demonstrating its superior generalization ability. | 翻訳日:2021-04-24 20:16:06 公開日:2020-12-27 |
| # 私の先生は世界は平らだと思っている!
自動エッセイスコアリング機構の解釈 My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism ( http://arxiv.org/abs/2012.13872v1 ) ライセンス: Link先を確認 | Swapnil Parekh, Yaman Kumar Singla, Changyou Chen, Junyi Jessy Li, Rajiv Ratn Shah | (参考訳) 過去20年間で、ディープラーニングに基づく自動評価(AES)システムにおいて重要な進展が見られた。
しかし、これらの深層学習に基づくスコアリングモデルのブラックボックスの性質を理解し、解釈する研究はほとんど行われていない。
最近の研究により、自動採点システムは、常識的な逆さまのサンプルでさえも起こりやすいことが示されている。
自然言語理解能力の欠如は、数百万の候補が人生を変える決定のために積極的に使用しているモデルに関する疑問を引き起こす。
スコアリングは高度にマルチモーダルなタスクであるため、これらのモダリティをすべて検証しテストする上では、スコアリングモデルが必須となる。
近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴が,自動スコアリング機構において重要か,また,なぜ逆行的なサンプルに影響を受けやすいかを見出す。
テストされたシステムでは、エッセイは自然言語の流れや文法構造の特徴を持つ散文としてではなく、数単語が他の単語よりも重要となる「単語ソップ」として見なされている。
これらの重要な単語を取り巻く文脈を除去すると、散文は音声と文法の流れを失うが、予測されたスコアにはほとんど影響を与えない。
また,「世界は平らである」といった虚偽の事実を付加することで,意味論的に世界知識や常識に根ざしたものではないことが判明した。 Significant progress has been made in deep-learning based Automatic Essay Scoring (AES) systems in the past two decades. However, little research has been put to understand and interpret the black-box nature of these deep-learning based scoring models. Recent work shows that automated scoring systems are prone to even common-sense adversarial samples. Their lack of natural language understanding capability raises questions on the models being actively used by millions of candidates for life-changing decisions. With scoring being a highly multi-modal task, it becomes imperative for scoring models to be validated and tested on all these modalities. We utilize recent advances in interpretability to find the extent to which features such as coherence, content and relevance are important for automated scoring mechanisms and why they are susceptible to adversarial samples. We find that the systems tested consider essays not as a piece of prose having the characteristics of natural flow of speech and grammatical structure, but as `word-soups' where a few words are much more important than the other words. Removing the context surrounding those few important words causes the prose to lose the flow of speech and grammar, however has little impact on the predicted score. We also find that since the models are not semantically grounded with world-knowledge and common sense, adding false facts such as ``the world is flat'' actually increases the score instead of decreasing it. | 翻訳日:2021-04-24 20:15:36 公開日:2020-12-27 |
| # 疎結合と早期体重減少の理解 Understanding Decoupled and Early Weight Decay ( http://arxiv.org/abs/2012.13841v1 ) ライセンス: Link先を確認 | Johan Bjorck, Kilian Weinberger and Carla Gomes | (参考訳) 重みの減衰(wd)は、ディープラーニングにおける伝統的な正規化技術であるが、その普遍性にもかかわらず、その振る舞いは依然として活発な研究の領域である。
Golatkarなど。
最近では、WDはコンピュータビジョンのトレーニングの開始時にのみ重要であり、従来の知恵を上回ります。
loshchilov et al所属。
適応オプティマイザの場合、手動で減衰する重みは損失に$l_2$ペナルティを加えるのに優れます。
この技術はますます普及し、疎結合WDと呼ばれている。
本研究の目的は,この2つの最近の経験的観察を調査することである。
我々は、WDを最初からのみ適用することで、トレーニングを通してネットワーク規範が小さく保たれることを示した。
効果的な勾配更新が大きくなるにつれて、これは正規化効果を持つ。
しかし、伝統的な一般化のメトリクスは、wdの効果を捉えられず、単純なスケール不変計量がどのようにできるかを示す。
また,ネットワーク重みの増大はデータセットとその一般化特性に大きく影響していることを示す。
分離WDでは、適応最適化が標準となるNLPとRLで実験を行う。
WD を疎結合にする主な問題は、目的関数からの勾配と、Adam のバッファ内の $l_2$ ペナルティ(第一次モーメントの推定値を保存する)を混合することである。
適応性自体は問題ではなく、分離されたWDは、$l_2$項からの勾配が真の目的を「引き起こせない」ことを保証する。 Weight decay (WD) is a traditional regularization technique in deep learning, but despite its ubiquity, its behavior is still an area of active research. Golatkar et al. have recently shown that WD only matters at the start of the training in computer vision, upending traditional wisdom. Loshchilov et al. show that for adaptive optimizers, manually decaying weights can outperform adding an $l_2$ penalty to the loss. This technique has become increasingly popular and is referred to as decoupled WD. The goal of this paper is to investigate these two recent empirical observations. We demonstrate that by applying WD only at the start, the network norm stays small throughout training. This has a regularizing effect as the effective gradient updates become larger. However, traditional generalizations metrics fail to capture this effect of WD, and we show how a simple scale-invariant metric can. We also show how the growth of network weights is heavily influenced by the dataset and its generalization properties. For decoupled WD, we perform experiments in NLP and RL where adaptive optimizers are the norm. We demonstrate that the primary issue that decoupled WD alleviates is the mixing of gradients from the objective function and the $l_2$ penalty in the buffers of Adam (which stores the estimates of the first-order moment). Adaptivity itself is not problematic and decoupled WD ensures that the gradients from the $l_2$ term cannot "drown out" the true objective, facilitating easier hyperparameter tuning. | 翻訳日:2021-04-24 20:14:48 公開日:2020-12-27 |
| # 群CNNによる等変写像の普遍近似理論 Universal Approximation Theorem for Equivariant Maps by Group CNNs ( http://arxiv.org/abs/2012.13882v1 ) ライセンス: Link先を確認 | Wataru Kumagai, Akiyoshi Sannai | (参考訳) 群対称性は、様々なデータ分布に固有のものである。
対称性を保存するデータ処理は同変写像として記述され、しばしば高い性能を達成するのに有効である。
畳み込みニューラルネットワーク(CNN)は同値なモデルとして知られ、ある特定の群に対する近似同変写像を示す。
しかし、cnnの普遍近似定理は、各群と設定に応じて個別の手法で別々に導出されている。
本稿では,CNNによる等変写像の普遍近似定理を様々な設定で得られる統一手法を提案する。
その大きな利点として、非コンパクト群に対する無限次元空間間の非線形同変写像を扱うことができる。 Group symmetry is inherent in a wide variety of data distributions. Data processing that preserves symmetry is described as an equivariant map and often effective in achieving high performance. Convolutional neural networks (CNNs) have been known as models with equivariance and shown to approximate equivariant maps for some specific groups. However, universal approximation theorems for CNNs have been separately derived with individual techniques according to each group and setting. This paper provides a unified method to obtain universal approximation theorems for equivariant maps by CNNs in various settings. As its significant advantage, we can handle non-linear equivariant maps between infinite-dimensional spaces for non-compact groups. | 翻訳日:2021-04-24 20:14:25 公開日:2020-12-27 |
| # 教師なし特徴選択のための適応グラフに基づく一般化回帰モデル Adaptive Graph-based Generalized Regression Model for Unsupervised Feature Selection ( http://arxiv.org/abs/2012.13892v1 ) ライセンス: Link先を確認 | Yanyong Huang, Zongxin Shen, Fuxu Cai, Tianrui Li, Fengmao Lv | (参考訳) 教師なしの特徴選択はラベルのない高次元データの次元を減少させる重要な手法であり、これは‘次元の帰結’を避け、クラスタリングや検索のようなその後の機械学習タスクの性能を改善するのに役立つ。
非相関的かつ識別的特徴の選択は、教師なしの機能選択の重要な問題である。
多くの提案手法は、強い識別性と高い冗長性を持つ特徴を選択する。
しかし、これら2つの基準のうち1つしか満たしていない。
他の既存の手法では、元の特徴空間上にグラフ行列を構築することにより、冗長性の低い識別的特徴を選択する。
オリジナルの特徴空間は、通常冗長性とノイズを含むため、特徴選択の性能は低下する。
これらの問題に対処するために、まず非相関制約と$\ell_{2,1}$-norm正規化によって課される新しい一般化回帰モデルを示す。
相関的でない特徴と識別的特徴を同時に選択し、同じ近傍に属するデータポイントの分散を低減し、クラスタリングタスクの助けとなる。
さらに、類似性誘発グラフを適応的に学習することにより、縮小次元空間上にデータの局所固有構造を構築する。
次に、スペクトル解析に基づくグラフ構造と指標行列の学習を一般化回帰モデルに統合する。
最後に,目的関数を解くための新しい反復最適化アルゴリズムを開発した。
9つの実世界のデータセットで一連の実験を行い、他の競合手法と比較して提案手法の有効性を実証した。 Unsupervised feature selection is an important method to reduce dimensions of high dimensional data without labels, which is benefit to avoid ``curse of dimensionality'' and improve the performance of subsequent machine learning tasks, like clustering and retrieval. How to select the uncorrelated and discriminative features is the key problem of unsupervised feature selection. Many proposed methods select features with strong discriminant and high redundancy, or vice versa. However, they only satisfy one of these two criteria. Other existing methods choose the discriminative features with low redundancy by constructing the graph matrix on the original feature space. Since the original feature space usually contains redundancy and noise, it will degrade the performance of feature selection. In order to address these issues, we first present a novel generalized regression model imposed by an uncorrelated constraint and the $\ell_{2,1}$-norm regularization. It can simultaneously select the uncorrelated and discriminative features as well as reduce the variance of these data points belonging to the same neighborhood, which is help for the clustering task. Furthermore, the local intrinsic structure of data is constructed on the reduced dimensional space by learning the similarity-induced graph adaptively. Then the learnings of the graph structure and the indicator matrix based on the spectral analysis are integrated into the generalized regression model. Finally, we develop an alternative iterative optimization algorithm to solve the objective function. A series of experiments are carried out on nine real-world data sets to demonstrate the effectiveness of the proposed method in comparison with other competing approaches. | 翻訳日:2021-04-24 20:14:15 公開日:2020-12-27 |
| # 2次元相対アテンショナルゲート変換器を用いたポートフォリオ最適化 Portfolio Optimization with 2D Relative-Attentional Gated Transformer ( http://arxiv.org/abs/2101.03138v1 ) ライセンス: Link先を確認 | Tae Wan Kim, Matloob Khushi | (参考訳) ポートフォリオ最適化は、機械学習アプローチで研究されている最も注意深い分野の1つです。
多くの研究者は、金融市場の資産を効率的に扱えるために、深い強化学習を用いてこの問題を解決しようとした。
しかし、取引コストの現実的な制約を無視したり、極端に単純化したりするため、現実の取引には適用できないものが多い。
これらの制約はポートフォリオの収益性に著しく悪影響を及ぼす。
本研究は,現実的な実験として,トランザクション手数料と滑り込みの保守的なレベルを考慮したものである。
これらの制約下での性能を向上させるために,2次元相対アテンショナルゲートトランス(DPGRGT)モデルを用いた新しい決定論的ポリシーグラディエントを提案する。
学習可能な相対的な位置埋め込みを時間と資産の軸に適用し、ポートフォリオ最適化領域における財務データの特異な構造をよりよく理解する。
また、強化学習において、変圧器の安定収束にゲーティング層と層再配置を用いる。
20年間の米国株式市場データを用いた実験では,モデルがベースラインモデルを上回り,その効果を実証した。 Portfolio optimization is one of the most attentive fields that have been researched with machine learning approaches. Many researchers attempted to solve this problem using deep reinforcement learning due to its efficient inherence that can handle the property of financial markets. However, most of them can hardly be applicable to real-world trading since they ignore or extremely simplify the realistic constraints of transaction costs. These constraints have a significantly negative impact on portfolio profitability. In our research, a conservative level of transaction fees and slippage are considered for the realistic experiment. To enhance the performance under those constraints, we propose a novel Deterministic Policy Gradient with 2D Relative-attentional Gated Transformer (DPGRGT) model. Applying learnable relative positional embeddings for the time and assets axes, the model better understands the peculiar structure of the financial data in the portfolio optimization domain. Also, gating layers and layer reordering are employed for stable convergence of Transformers in reinforcement learning. In our experiment using U.S. stock market data of 20 years, our model outperformed baseline models and demonstrated its effectiveness. | 翻訳日:2021-04-24 20:13:07 公開日:2020-12-27 |
| # 因果グラフの近似学習のための干渉効率の良いアルゴリズム Intervention Efficient Algorithms for Approximate Learning of Causal Graphs ( http://arxiv.org/abs/2012.13976v1 ) ライセンス: Link先を確認 | Raghavendra Addanki, Andrew McGregor, Cameron Musco | (参考訳) 本研究では,観測変数に対する介入のコストを最小化しつつ,潜伏者の存在下で観測変数の集合間の因果関係を学習する問題を考察する。
エッジがすべての直接的な因果関係を表すか、あるいはより制限の少ない因果関係のスーパーセット(条件付き独立テストやドメインエキスパートなどによって識別される)である観測変数に対して、無向グラフへのアクセスが$g$と仮定する。
我々の目標は、介入の最小限の費用で、すべての因果関係や祖先関係の方向性を$G$で回収することです。
任意のグラフ$G$に対して、正確な最小コストの介入セットを構築することはNPハードであることが知られている。
さらに、近似グラフ色付けの難しさを条件として、多項式時間アルゴリズムは$\theta(\log n)$よりもよい近似係数を達成できないと論じている。
この制限を克服するために、指定されたエラーパラメータの$\epsilon > 0$に対して$G$で$\epsilon n^2$ edges以外のすべての方向を復元する双基準近似の目標を導入する。
この緩和された目標の下で、最適の小さな定数係数内で介入コストを達成する多項式時間アルゴリズムを与える。
提案アルゴリズムは,効率的な介入設計と低コスト分離システムの設計と,グラフ特性試験に関する文献からのアイデアを組み合わせたものである。 We study the problem of learning the causal relationships between a set of observed variables in the presence of latents, while minimizing the cost of interventions on the observed variables. We assume access to an undirected graph $G$ on the observed variables whose edges represent either all direct causal relationships or, less restrictively, a superset of causal relationships (identified, e.g., via conditional independence tests or a domain expert). Our goal is to recover the directions of all causal or ancestral relations in $G$, via a minimum cost set of interventions. It is known that constructing an exact minimum cost intervention set for an arbitrary graph $G$ is NP-hard. We further argue that, conditioned on the hardness of approximate graph coloring, no polynomial time algorithm can achieve an approximation factor better than $\Theta(\log n)$, where $n$ is the number of observed variables in $G$. To overcome this limitation, we introduce a bi-criteria approximation goal that lets us recover the directions of all but $\epsilon n^2$ edges in $G$, for some specified error parameter $\epsilon > 0$. Under this relaxed goal, we give polynomial time algorithms that achieve intervention cost within a small constant factor of the optimal. Our algorithms combine work on efficient intervention design and the design of low-cost separating set systems, with ideas from the literature on graph property testing. | 翻訳日:2021-04-24 20:12:51 公開日:2020-12-27 |
| # 深層変圧器から軽量翻訳モデルを学ぶ Learning Light-Weight Translation Models from Deep Transformer ( http://arxiv.org/abs/2012.13866v1 ) ライセンス: Link先を確認 | Bei Li, Ziyang Wang, Hui Liu, Quan Du, Tong Xiao, Chunliang Zhang and Jingbo Zhu | (参考訳) 近年,深層モデルでは,ニューラルネットワーク翻訳(nmt)が大幅に改善されている。
しかし、この種のシステムは計算コストが高く、メモリ集約的である。
本稿では,強力だが軽量なNMTシステムを学ぶための自然な一歩を踏み出す。
我々は,深部変圧器モデルを浅部モデルに圧縮するためのグループ置換に基づく知識蒸留手法を提案する。
いくつかのベンチマーク実験の結果から,本手法の有効性が検証された。
我々の圧縮モデルは深部モデルより8倍浅く、BLEUの損失はほとんどない。
教師モデルをさらに強化するため,英語-ドイツ語 newstest2014 において 30.63 の bleu スコアを達成するために,不規則にサブレイヤを省略してトレーニングに摂動を導入するためのスキップサブレイヤー法を提案する。
コードはhttps://github.com/libeineu/GPKDで公開されている。 Recently, deep models have shown tremendous improvements in neural machine translation (NMT). However, systems of this kind are computationally expensive and memory intensive. In this paper, we take a natural step towards learning strong but light-weight NMT systems. We proposed a novel group-permutation based knowledge distillation approach to compressing the deep Transformer model into a shallow model. The experimental results on several benchmarks validate the effectiveness of our method. Our compressed model is 8X shallower than the deep model, with almost no loss in BLEU. To further enhance the teacher model, we present a Skipping Sub-Layer method to randomly omit sub-layers to introduce perturbation into training, which achieves a BLEU score of 30.63 on English-German newstest2014. The code is publicly available at https://github.com/libeineu/GPKD. | 翻訳日:2021-04-24 20:12:23 公開日:2020-12-27 |
| # 対話関係抽出のための恥ずかしいほど単純なモデル An Embarrassingly Simple Model for Dialogue Relation Extraction ( http://arxiv.org/abs/2012.13873v1 ) ライセンス: Link先を確認 | Fuzhao Xue, Aixin Sun, Hao Zhang, Eng Siong Chng | (参考訳) 対話関係抽出(RE)とは、対話で言及される2つのエンティティの関係型を予測することである。
本稿では,多ラベル分類タスクとしてダイアログREをモデル化し,シンプルだが効果的なSimpleREモデルを提案する。
simplere は対話における複数の関係間の相互関係を新しい入力形式 bert relation token sequence (brs) を通じてキャプチャする。
BRSでは、複数の[CLS]トークンを使用して、異なるエンティティのペア間の異なる関係をキャプチャします。
リレーショナルリファインメントゲート(RRG)は、関係固有の意味表現を適応的に抽出するように設計されている。
dialogreの実験では、simplereはトレーニング時間の短縮で最高のパフォーマンスを達成している。
SimpleREは、外部リソースを使わずに、文レベルのREで全ての直接ベースラインを上回ります。 Dialogue relation extraction (RE) is to predict the relation type of two entities mentioned in a dialogue. In this paper, we model Dialogue RE as a multi-label classification task and propose a simple yet effective model named SimpleRE. SimpleRE captures the interrelations among multiple relations in a dialogue through a novel input format, BERT Relation Token Sequence (BRS). In BRS, multiple [CLS] tokens are used to capture different relations between different pairs of entities. A Relation Refinement Gate (RRG) is designed to extract relation-specific semantic representation adaptively. Experiments on DialogRE show that SimpleRE achieves the best performance with much shorter training time. SimpleRE outperforms all direct baselines on sentence-level RE without using external resources. | 翻訳日:2021-04-24 20:12:10 公開日:2020-12-27 |
| # ALP-KD:知識蒸留のための注意層投影 ALP-KD: Attention-Based Layer Projection for Knowledge Distillation ( http://arxiv.org/abs/2012.14022v1 ) ライセンス: Link先を確認 | Peyman Passban, Yimeng Wu, Mehdi Rezagholizadeh, Qun Liu | (参考訳) 知識蒸留は、教師と生徒の2つのニューラルネットワークが訓練中に結合されるトレーニングと圧縮戦略であると考えられている。
教師ネットワークは信頼できる予測者であり、学生はその予測を模倣しようとする。
通常、より軽量なアーキテクチャを持つ学生が選択され、圧縮が可能で、高品質な結果が得られる。
このような状況下では、蒸留は最終予測でのみ行われるが、生徒は教師が内部成分を監督する利益も得る。
そこで本研究では,中間層における蒸留問題について検討した。
学生層と教師層の間には一対一のアライメントがないため、既存のテクニックは教師層をスキップし、それらのサブセットからのみ蒸留する。
この欠点は直接品質に影響するため、注意に依存する組合せ手法を提案する。
本モデルでは,教師側情報を融合し,各レイヤの意義を考慮し,教師層と学生層との蒸留を行う。
本手法を用いて12層BERT (Devlin et al) を蒸留した。
2019) を6層,4層,2層に分け,グルータスク(wangなど)で評価した。
2018).
実験の結果,我々の組み合わせアプローチは既存の手法よりも優れていることがわかった。 Knowledge distillation is considered as a training and compression strategy in which two neural networks, namely a teacher and a student, are coupled together during training. The teacher network is supposed to be a trustworthy predictor and the student tries to mimic its predictions. Usually, a student with a lighter architecture is selected so we can achieve compression and yet deliver high-quality results. In such a setting, distillation only happens for final predictions whereas the student could also benefit from teacher's supervision for internal components. Motivated by this, we studied the problem of distillation for intermediate layers. Since there might not be a one-to-one alignment between student and teacher layers, existing techniques skip some teacher layers and only distill from a subset of them. This shortcoming directly impacts quality, so we instead propose a combinatorial technique which relies on attention. Our model fuses teacher-side information and takes each layer's significance into consideration, then performs distillation between combined teacher layers and those of the student. Using our technique, we distilled a 12-layer BERT (Devlin et al. 2019) into 6-, 4-, and 2-layer counterparts and evaluated them on GLUE tasks (Wang et al. 2018). Experimental results show that our combinatorial approach is able to outperform other existing techniques. | 翻訳日:2021-04-24 20:11:57 公開日:2020-12-27 |
| # 心理計測型人工知能の事例 The case for psychometric artificial general intelligence ( http://arxiv.org/abs/2101.02179v1 ) ライセンス: Link先を確認 | Mark McPherson | (参考訳) 人工知能の計測と検出に関する文献を概観した。
提案する人工知能のベンチマークとテストは、複数の基準に対して批判的に評価される。
この結果から,最も有望なアプローチが特定され,今後の研究に有用な方向性が提案されている。 A short review of the literature on measurement and detection of artificial general intelligence is made. Proposed benchmarks and tests for artificial general intelligence are critically evaluated against multiple criteria. Based on the findings, the most promising approaches are identified and some useful directions for future work are proposed. | 翻訳日:2021-04-24 20:11:38 公開日:2020-12-27 |
| # ANL: クロスドメインな人物再識別のためのアンチノイズ学習 ANL: Anti-Noise Learning for Cross-Domain Person Re-Identification ( http://arxiv.org/abs/2012.13853v1 ) ライセンス: Link先を確認 | Hongliang Zhang, Shoudong Han, Xiaofeng Pan, Jun Zhao | (参考訳) ラベルの欠如とドメインの多様性のため、クロスドメイン設定における人物の再識別を研究することは困難である。
望ましい方法は、クラスタリングを通じてラベルなしサンプルの擬似ラベルを割り当てることで、ターゲットモデルを最適化することである。
通常、事前訓練されたソースドメインモデルは、適切なターゲットドメインの特徴を抽出することができず、クラスタリング性能と擬似ラベルの精度に劇的に影響を与える。
強烈なラベルノイズは、間違いなく準最適解につながる。
これらの問題を解決するために,2つのモジュールを含む反雑音学習(ANL)手法を提案する。
特徴分散アライメント(fda)モジュールは、カメラによるコントラスト学習と逆適応を通じて、id関連サンプルを収集し、id非関連サンプルを分散するように設計されている。
クラスタ化のためのフレンドリーなクロスフィーチャー基盤を作るには、クラスタ化ノイズを減らす必要がある。
また、信頼できるサンプル選択(rss)モジュールは、ノイズラベルを補正し、メインモデルの信頼できるサンプルを選択するために補助モデルを利用する。
クラスタリングアルゴリズムとrssモジュールによって生成された異常情報を有効に活用するために,これらのサンプルをインスタンスレベルでトレーニングする。
実験により,提案したANLフレームワークは,ドメインの競合を効果的に低減し,ノイズサンプルの影響を軽減するとともに,最先端の手法と比較して優れた性能を示す。 Due to the lack of labels and the domain diversities, it is a challenge to study person re-identification in the cross-domain setting. An admirable method is to optimize the target model by assigning pseudo-labels for unlabeled samples through clustering. Usually, attributed to the domain gaps, the pre-trained source domain model cannot extract appropriate target domain features, which will dramatically affect the clustering performance and the accuracy of pseudo-labels. Extensive label noise will lead to sub-optimal solutions doubtlessly. To solve these problems, we propose an Anti-Noise Learning (ANL) approach, which contains two modules. The Feature Distribution Alignment (FDA) module is designed to gather the id-related samples and disperse id-unrelated samples, through the camera-wise contrastive learning and adversarial adaptation. Creating a friendly cross-feature foundation for clustering that is to reduce clustering noise. Besides, the Reliable Sample Selection (RSS) module utilizes an Auxiliary Model to correct noisy labels and select reliable samples for the Main Model. In order to effectively utilize the outlier information generated by the clustering algorithm and RSS module, we train these samples at the instance-level. The experiments demonstrate that our proposed ANL framework can effectively reduce the domain conflicts and alleviate the influence of noisy samples, as well as superior performance compared with the state-of-the-art methods. | 翻訳日:2021-04-24 20:11:34 公開日:2020-12-27 |
| # 細粒画像, 少数ショット画像, グラフ分類におけるパワー正規化 Power Normalizations in Fine-grained Image, Few-shot Image and Graph Classification ( http://arxiv.org/abs/2012.13975v1 ) ライセンス: Link先を確認 | Piotr Koniusz and Hongguang Zhang | (参考訳) 電力正規化(PN)は、分類問題における特徴不均衡に対処する有用な非線形演算子である。
我々は,新しいPN層プール機能マップを用いて,深層学習環境におけるPNについて検討した。
我々は,CNNの最終畳み込み層が生成する特徴写像における特徴ベクトルとその空間的位置を,PN演算子を適用した2次統計量と正定行列に結合し,いわゆる2次プール(SOP)を形成する。
本稿では,電力正規化の研究を主目的とし,人気のpn機能であるmaxexpとgammaの役割と意義について検討する。
この目的のために、そのような要素ワイズ作用素の確率論的解釈を提供し、エンド・ツー・エンド・トレーニングのためによく定義された微分を持つ代用変数を発見する。
さらに、スペクトルパワー正規化(spn)の研究により、maxexpとgammaのスペクトル適用可能性を検討する。
自己相関/共分散行列上のSPNとグラフラプラシア行列上の熱拡散過程(HDP)が密接に関連していることを示し、それらの性質を共有する。
このような発見は、共分散/自己相関行列に対するHDPの変種である高速スペクトルMaxExpという、我々の研究の頂点に繋がる。
我々は, 微粒化認識, シーン認識, 材料分類, および少数ショット学習およびグラフ分類における考え方を評価する。 Power Normalizations (PN) are useful non-linear operators which tackle feature imbalances in classification problems. We study PNs in the deep learning setup via a novel PN layer pooling feature maps. Our layer combines the feature vectors and their respective spatial locations in the feature maps produced by the last convolutional layer of CNN into a positive definite matrix with second-order statistics to which PN operators are applied, forming so-called Second-order Pooling (SOP). As the main goal of this paper is to study Power Normalizations, we investigate the role and meaning of MaxExp and Gamma, two popular PN functions. To this end, we provide probabilistic interpretations of such element-wise operators and discover surrogates with well-behaved derivatives for end-to-end training. Furthermore, we look at the spectral applicability of MaxExp and Gamma by studying Spectral Power Normalizations (SPN). We show that SPN on the autocorrelation/covariance matrix and the Heat Diffusion Process (HDP) on a graph Laplacian matrix are closely related, thus sharing their properties. Such a finding leads us to the culmination of our work, a fast spectral MaxExp which is a variant of HDP for covariances/autocorrelation matrices. We evaluate our ideas on fine-grained recognition, scene recognition, and material classification, as well as in few-shot learning and graph classification. | 翻訳日:2021-04-24 20:11:10 公開日:2020-12-27 |
| # Recomposition vs.
予測:オートエンコーダに基づく離散事象の新しい異常検出 Recomposition vs. Prediction: A Novel Anomaly Detection for Discrete Events Based On Autoencoder ( http://arxiv.org/abs/2012.13972v1 ) ライセンス: Link先を確認 | Lun-Pin Yuan, Peng Liu, Sencun Zhu | (参考訳) 侵入検知の分野で最も難しい問題の1つは、離散イベントログの異常検出である。
初期の作業は、エンジニアリングされた機能に教師なしの学習を適用することに集中していたが、最近の作業は、個別のイベントエントリの抽象化にディープラーニングの方法論を適用することで、この課題を解決し始めた。
自然言語処理にインスパイアされたLSTMに基づく異常検出モデルが提案された。
彼らは今後のイベントを予測し、予測が一定の基準を満たせなかった場合に異常警報を発生させようとする。
しかし、このような予測-次の事象の方法論には根本的な制限がある。
この制限は、高い偽陽性(FPs)と高い偽陰性(FNs)をもたらす。
また、個々の事象のシーケンスの構造と双方向因果関係を調べることも重要である。
そこで本研究では,イベント列を異常検出として再構成する手法を提案する。
離散イベントログのためのディープオートエンコーダに基づく異常検出手法であるDabLogを提案する。
基本的な違いは、今後のイベントを予測するのではなく、シーケンスを解析(エンコーディング)し、与えられたシーケンスを再構築(デコード)することで、シーケンスが正常か異常かを判断することです。
評価の結果,本手法はFPとFNの数を著しく削減し,F_1$スコアを高くすることができることがわかった。 One of the most challenging problems in the field of intrusion detection is anomaly detection for discrete event logs. While most earlier work focused on applying unsupervised learning upon engineered features, most recent work has started to resolve this challenge by applying deep learning methodology to abstraction of discrete event entries. Inspired by natural language processing, LSTM-based anomaly detection models were proposed. They try to predict upcoming events, and raise an anomaly alert when a prediction fails to meet a certain criterion. However, such a predict-next-event methodology has a fundamental limitation: event predictions may not be able to fully exploit the distinctive characteristics of sequences. This limitation leads to high false positives (FPs) and high false negatives (FNs). It is also critical to examine the structure of sequences and the bi-directional causality among individual events. To this end, we propose a new methodology: Recomposing event sequences as anomaly detection. We propose DabLog, a Deep Autoencoder-Based anomaly detection method for discrete event Logs. The fundamental difference is that, rather than predicting upcoming events, our approach determines whether a sequence is normal or abnormal by analyzing (encoding) and reconstructing (decoding) the given sequence. Our evaluation results show that our new methodology can significantly reduce the numbers of FPs and FNs, hence achieving a higher $F_1$ score. | 翻訳日:2021-04-24 20:10:46 公開日:2020-12-27 |
| # 大学のインパクトを計測するwikipediaアプローチ Measuring University Impact: Wikipedia approach ( http://arxiv.org/abs/2012.13980v1 ) ライセンス: Link先を確認 | Tatiana Kozitsina (Babkina), Viacheslav Goiko, Roman Palkin, Valentin Khomutenko, Yulia Mundrievskaya, Maria Sukhareva, Isak Froumin, and Mikhail Myagkov | (参考訳) 大学が社会、経済、政治の景観に与える影響は、現代の教育評価において重要な方向の一つである。
本稿では,ウィキペディア上の同窓生のページの人気度(ページビュー数)に基づいて大学が与える影響を評価する手法について述べる。
卒業生の人気動態を明らかにし、その状態を追跡することができる。
予備分析の結果,このアプローチの視点を証明する現代人の方がページビュー数が高いことがわかった。
その後、大学は方法論に基づいてランク付けされ、卒業生の規模のみに基づく国際大学ランキングARWUとQSに比較して、上位10の大学には2つの大学(コロンビア大学、スタンフォード大学)の交差点がある。
本論文では、異なる大学ランキング間の相関係数について述べる。
最後に、同窓生の人気に基づくランキングは、ウィキペディアのウェブページの人気に基づいて大学のランキングと比較された。 The impact of Universities on the social, economic and political landscape is one of the key directions in contemporary educational evaluation. In this paper, we discuss the new methodological technique that evaluates the impact of university based on popularity (number of page-views) of their alumni's pages on Wikipedia. It allows revealing the alumni popularity dynamics and tracking its state. Preliminary analysis shows that the number of page-views is higher for the contemporary persons that prove the perspectives of this approach. Then, universities were ranked based on the methodology and compared to the famous international university rankings ARWU and QS based only on alumni scales: for the top 10 universities, there is an intersection of two universities (Columbia University, Stanford University). The correlation coefficients between different university rankings are provided in the paper. Finally, the ranking based on the alumni popularity was compared with the ranking of universities based on the popularity of their webpages on Wikipedia: there is a strong connection between these indicators. | 翻訳日:2021-04-24 20:10:27 公開日:2020-12-27 |
| # fltrust: 信頼ブートストラップによるビザンチンロバスト連合学習 FLTrust: Byzantine-robust Federated Learning via Trust Bootstrapping ( http://arxiv.org/abs/2012.13995v1 ) ライセンス: Link先を確認 | Xiaoyu Cao, Minghong Fang, Jia Liu, Neil Zhenqiang Gong | (参考訳) Byzantine-Robustのフェデレーション学習は、サービスプロバイダが、バウンド数のクライアントが悪意のある場合に、正確なグローバルモデルを学習できるようにすることを目的としている。
既存のByzantine-robustフェデレーション学習手法のキーとなる考え方は、クライアントのローカルモデル更新の統計分析を行い、疑わしいものを取り除き、グローバルモデル更新のために集約する、というものである。
しかし、悪意のあるクライアントは、サービスプロバイダに慎重に構築されたローカルモデル更新を送信することで、これらのメソッドのグローバルモデルを破壊することができる。
根本的な理由は、既存のフェデレーション学習手法に信頼の根がないことである。
本研究では,サービスプロバイダ自体が信頼をブートストラップする新たなフェデレーション学習手法であるFLTrustを提案し,そのギャップを埋める。
特に、サービスプロバイダは学習タスクのためにクリーンな小さなトレーニングデータセット(ルートデータセットと呼ばれる)を収集し、サービスプロバイダは信頼をブートストラップするためにそれに基づいてモデル(サーバモデルと呼ばれる)を保持します。
各イテレーションにおいて、サービス提供者は、まず、クライアントから各ローカルモデル更新に対して信頼スコアを割り当てる。
そして、サービスプロバイダは、ローカルモデルの更新の規模を正規化し、それらがベクトル空間におけるサーバモデルの更新と同じハイパースフィアに置かれるようにします。
私たちの正規化は、悪意のあるローカルモデル更新の影響を大きな規模で制限します。
最後に、サービスプロバイダは、信頼スコアによって重み付けられた正規化されたローカルモデル更新の平均をグローバルモデル更新として計算し、グローバルモデル更新に使用する。
異なるドメインからの6つのデータセットに対する広範な評価は、FLTrustが既存の攻撃と強力な適応攻撃の両方に対して安全であることを示している。 Byzantine-robust federated learning aims to enable a service provider to learn an accurate global model when a bounded number of clients are malicious. The key idea of existing Byzantine-robust federated learning methods is that the service provider performs statistical analysis among the clients' local model updates and removes suspicious ones, before aggregating them to update the global model. However, malicious clients can still corrupt the global models in these methods via sending carefully crafted local model updates to the service provider. The fundamental reason is that there is no root of trust in existing federated learning methods. In this work, we bridge the gap via proposing FLTrust, a new federated learning method in which the service provider itself bootstraps trust. In particular, the service provider itself collects a clean small training dataset (called root dataset) for the learning task and the service provider maintains a model (called server model) based on it to bootstrap trust. In each iteration, the service provider first assigns a trust score to each local model update from the clients, where a local model update has a lower trust score if its direction deviates more from the direction of the server model update. Then, the service provider normalizes the magnitudes of the local model updates such that they lie in the same hyper-sphere as the server model update in the vector space. Our normalization limits the impact of malicious local model updates with large magnitudes. Finally, the service provider computes the average of the normalized local model updates weighted by their trust scores as a global model update, which is used to update the global model. Our extensive evaluations on six datasets from different domains show that our FLTrust is secure against both existing attacks and strong adaptive attacks. | 翻訳日:2021-04-24 20:10:14 公開日:2020-12-27 |
| # 太陽硬X線イメージングにおける可視性補間:RHESSIとSTIXへの応用 Visibility Interpolation in Solar Hard X-ray Imaging: Application to RHESSI and STIX ( http://arxiv.org/abs/2012.14007v1 ) ライセンス: Link先を確認 | Emma Perracchione, Paolo Massa, Anna Maria Massone, Michele Piana | (参考訳) 太陽硬x線イメージングのための宇宙望遠鏡は、入射した光子フラックスのサンプルされたフーリエ成分による観測を提供する。
本研究の目的は,フーリエ領域の視認性向上に基づく画像再構成手法を設計することである。
%方向(強制) この補間法は、太陽軌道上のX線イメージング用分光計(STIX)ミッションの枠組み内に実装されたシミュレーションソフトウェアを用いて生成された合成振動度に適用される。
また、Reuven Ramaty High Energy Solar Spectroscopic Imager(RHESSI)による実験的な可視性についても検討した。
これらの可視性データを補間するために、我々は、画像再構成のために最初に使用されるフレアソースの事前情報を利用して特徴増強を実現することができるVSK(Variably Scaled Kernels)に基づくアプローチを利用した。
% 結果(強制) RHESSI で導入された補間ベースの再構成アルゴリズムと比較して,VSK は,特に STIX 画像の場合,顕著なフーリエ領域のスパースサンプリングが特徴である。
RHESSIデータの場合、この新しい手法は、フレア源が細いリボン状の形状または高分解能検出器によって特徴付けられる場合、特に信頼性が高い。
%方向(オプション)、必要ならば空にしておく 硬いX線振動を補間するためのVSKの使用により、フレア源に関する情報が小さな散乱フーリエデータによって符号化され、周波数領域における大きな振動によって可視面が影響を受ける場合、顕著な画像再構成精度が得られる。 Space telescopes for solar hard X-ray imaging provide observations made of sampled Fourier components of the incoming photon flux. The aim of this study is to design an image reconstruction method relying on enhanced visibility interpolation in the Fourier domain. % methods heading (mandatory) The interpolation-based method is applied on synthetic visibilities generated by means of the simulation software implemented within the framework of the Spectrometer/Telescope for Imaging X-rays (STIX) mission on board Solar Orbiter. An application to experimental visibilities observed by the Reuven Ramaty High Energy Solar Spectroscopic Imager (RHESSI) is also considered. In order to interpolate these visibility data we have utilized an approach based on Variably Scaled Kernels (VSKs), which are able to realize feature augmentation by exploiting prior information on the flaring source and which are used here, for the first time, for image reconstruction purposes.} % results heading (mandatory) When compared to an interpolation-based reconstruction algorithm previously introduced for RHESSI, VSKs offer significantly better performances, particularly in the case of STIX imaging, which is characterized by a notably sparse sampling of the Fourier domain. In the case of RHESSI data, this novel approach is particularly reliable when either the flaring sources are characterized by narrow, ribbon-like shapes or high-resolution detectors are utilized for observations. % conclusions heading (optional), leave it empty if necessary The use of VSKs for interpolating hard X-ray visibilities allows a notable image reconstruction accuracy when the information on the flaring source is encoded by a small set of scattered Fourier data and when the visibility surface is affected by significant oscillations in the frequency domain. | 翻訳日:2021-04-24 20:09:41 公開日:2020-12-27 |
| # 領域適応のためのヒストグラムマッチング拡張法 : マルチセンタ、マルチベンダ、マルチダイザス心筋画像セグメンテーションへの応用 Histogram Matching Augmentation for Domain Adaptation with Application to Multi-Centre, Multi-Vendor and Multi-Disease Cardiac Image Segmentation ( http://arxiv.org/abs/2012.13871v1 ) ライセンス: Link先を確認 | Jun Ma | (参考訳) convolutional neural networks (cnns) は、トレーニングケースとテストケースが同一分布である場合、心臓構造の分節において高い精度を達成している。
しかし、テストケースが別のドメイン(例えば、新しいMRIスキャナー、臨床センター)から来た場合、パフォーマンスは劣化する。
本稿では,領域間隙を解消するためのヒストグラムマッチング(hm)データ拡張手法を提案する。
具体的には,テストケースの強度分布を既存のトレーニングケースに転送するためにHMを用いて新たなトレーニングケースを生成する。
提案手法は非常に単純で,多くのセグメンテーションタスクにおいてプラグアンドプレイ方式で使用できる。
この方法はMICCAI 2020 M\&Msチャレンジで評価され、左室、心筋、右心室それぞれの平均Diceスコアは0.9051、0.8405、0.8749、ハウスドルフ距離は9.996、12.49、12.68である。
結果はmiccai 2020 m\&msチャレンジで3位にランクインした。
コードとトレーニングされたモデルは、 \url{https://github.com/JunMa11/HM_DataAug}で公開されている。 Convolutional Neural Networks (CNNs) have achieved high accuracy for cardiac structure segmentation if training cases and testing cases are from the same distribution. However, the performance would be degraded if the testing cases are from a distinct domain (e.g., new MRI scanners, clinical centers). In this paper, we propose a histogram matching (HM) data augmentation method to eliminate the domain gap. Specifically, our method generates new training cases by using HM to transfer the intensity distribution of testing cases to existing training cases. The proposed method is quite simple and can be used in a plug-and-play way in many segmentation tasks. The method is evaluated on MICCAI 2020 M\&Ms challenge, and achieves average Dice scores of 0.9051, 0.8405, and 0.8749, and Hausdorff Distances of 9.996, 12.49, and 12.68 for the left ventricular, myocardium, and right ventricular, respectively. Our results rank the third place in MICCAI 2020 M\&Ms challenge. The code and trained models are publicly available at \url{https://github.com/JunMa11/HM_DataAug}. | 翻訳日:2021-04-24 20:09:12 公開日:2020-12-27 |
| # 高精度な多視点3次元物体推定のための不確かさ予測による楕円回帰 Ellipse Regression with Predicted Uncertainties for Accurate Multi-View 3D Object Estimation ( http://arxiv.org/abs/2101.05212v1 ) ライセンス: Link先を確認 | Wenbo Dong, Volkan Isler | (参考訳) Mask R-CNNのような畳み込みニューラルネットワーク(CNN)ベースのアーキテクチャは、オブジェクトの検出とセグメンテーションにおける技術の状態を構成する。
近年、ネットワークが幾何モデルのパラメータ(例えば、)を出力するモデルベースセグメンテーションのためにこれらの手法が拡張されている。
ellipse (複数形 ellipses)
この研究は、3次元モデルが楕円体として表現できる対象を考える。
本稿では,各オブジェクトをセグメント化して楕円形オブジェクトのパラメータを推定し,投影楕円のパラメータを正確に回帰するMask R-CNNの変種について述べる。
モデル回帰は下層の咬合シナリオに敏感であり,正確な3次元物体推定には各物体の予測品質を個別に特徴付ける必要がある。
本稿では,不確かさでオフセットパラメータを学習し,各楕円の幾何学的品質を定量化できる新しい楕円回帰損失を提案する。
これらの値によって,マルチビュー検出を融合して3次元楕円型パラメータを原理的に得ることができる。
人工データと実データの両方を用いた実験により, 従来手法と比較して, 重咬合下の3次元物体推定における提案手法の精度を定量的に検証した。 Convolutional neural network (CNN) based architectures, such as Mask R-CNN, constitute the state of the art in object detection and segmentation. Recently, these methods have been extended for model-based segmentation where the network outputs the parameters of a geometric model (e.g. an ellipse) directly. This work considers objects whose three-dimensional models can be represented as ellipsoids. We present a variant of Mask R-CNN for estimating the parameters of ellipsoidal objects by segmenting each object and accurately regressing the parameters of projection ellipses. We show that model regression is sensitive to the underlying occlusion scenario and that prediction quality for each object needs to be characterized individually for accurate 3D object estimation. We present a novel ellipse regression loss which can learn the offset parameters with their uncertainties and quantify the overall geometric quality of detection for each ellipse. These values, in turn, allow us to fuse multi-view detections to obtain 3D ellipsoid parameters in a principled fashion. The experiments on both synthetic and real datasets quantitatively demonstrate the high accuracy of our proposed method in estimating 3D objects under heavy occlusions compared to previous state-of-the-art methods. | 翻訳日:2021-04-24 20:08:33 公開日:2020-12-27 |
| # Time-Window Group-Correlation Support vs.
個人的特徴:異常な利用者の検出 Time-Window Group-Correlation Support vs. Individual Features: A Detection of Abnormal Users ( http://arxiv.org/abs/2012.13971v1 ) ライセンス: Link先を確認 | Lun-Pin Yuan, Euijin Choo, Ting Yu, Issa Khalil, Sencun Zhu | (参考訳) オートエンコーダに基づく異常検出手法は,大規模企業ログから異常ユーザを識別するために,過去の習慣パターンに従わないことを前提として用いられてきた。
既存のアプローチのほとんどは、通常、シングルデイと個人ユーザーの振る舞いを再構築してモデルを構築します。
しかし、長期的な信号やグループ相関信号を捉えることなく、モデルは低信号で持続する脅威を識別できず、多くの正常なユーザーが忙しい日に異常であると誤って報告し、その結果、偽陽性率が高くなる。
本稿では,長期パターンと集団行動を考慮したCOmpound BEhaviorに基づく異常検出手法であるACOBEを提案する。
ACOBEは、新しい行動表現とディープ・オートエンコーダのアンサンブルを活用し、順序付けられた調査リストを生成する。
評価の結果,acobeは精度とリコールの面では先行研究よりも大きなマージンを示しており,本事例ではacobeがサイバー攻撃検出に応用可能であることを実証した。 Autoencoder-based anomaly detection methods have been used in identifying anomalous users from large-scale enterprise logs with the assumption that adversarial activities do not follow past habitual patterns. Most existing approaches typically build models by reconstructing single-day and individual-user behaviors. However, without capturing long-term signals and group-correlation signals, the models cannot identify low-signal yet long-lasting threats, and will wrongly report many normal users as anomalies on busy days, which, in turn, lead to high false positive rate. In this paper, we propose ACOBE, an Anomaly detection method based on COmpound BEhavior, which takes into consideration long-term patterns and group behaviors. ACOBE leverages a novel behavior representation and an ensemble of deep autoencoders and produces an ordered investigation list. Our evaluation shows that ACOBE outperforms prior work by a large margin in terms of precision and recall, and our case study demonstrates that ACOBE is applicable in practice for cyberattack detection. | 翻訳日:2021-04-24 20:07:52 公開日:2020-12-27 |