論文の概要: Embedding and Extraction of Knowledge in Tree Ensemble Classifiers
- arxiv url: http://arxiv.org/abs/2010.08281v3
- Date: Tue, 26 Oct 2021 13:47:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 21:58:14.588761
- Title: Embedding and Extraction of Knowledge in Tree Ensemble Classifiers
- Title（参考訳）: 木組分類器における知識の埋め込みと抽出
- Authors: Wei Huang, Xingyu Zhao and Xiaowei Huang
- Abstract要約: 本稿では,木組分類器における知識の埋め込みと抽出について検討する。
そこで我々は,ブラックボックス設定のためのアルゴリズムと,ホワイトボックス設定のためのアルゴリズムの2つの新しい,効果的な組込みアルゴリズムを提案する。
本研究では,SMT (Satisfiability modulo theory)ソルバで解ける問題を削減することにより,組込み知識を抽出するアルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 11.762762974386684
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The embedding and extraction of useful knowledge is a recent trend in machine
learning applications, e.g., to supplement existing datasets that are small.
Whilst, as the increasing use of machine learning models in security-critical
applications, the embedding and extraction of malicious knowledge are
equivalent to the notorious backdoor attack and its defence, respectively. This
paper studies the embedding and extraction of knowledge in tree ensemble
classifiers, and focuses on knowledge expressible with a generic form of
Boolean formulas, e.g., robustness properties and backdoor attacks. For the
embedding, it is required to be preservative(the original performance of the
classifier is preserved), verifiable(the knowledge can be attested), and
stealthy(the embedding cannot be easily detected). To facilitate this, we
propose two novel, and effective, embedding algorithms, one of which is for
black-box settings and the other for white-box settings.The embedding can be
done in PTIME. Beyond the embedding, we develop an algorithm to extract the
embedded knowledge, by reducing the problem to be solvable with an SMT
(satisfiability modulo theories) solver. While this novel algorithm can
successfully extract knowledge, the reduction leads to an NP computation.
Therefore, if applying embedding as backdoor attacks and extraction as defence,
our results suggest a complexity gap (P vs. NP) between the attack and defence
when working with tree ensemble classifiers. We apply our algorithms toa
diverse set of datasets to validate our conclusion extensively.
- Abstract（参考訳）: 有用な知識の埋め込みと抽出は、例えば、小さな既存のデータセットを補完する機械学習アプリケーションにおける最近のトレンドである。
セキュリティクリティカルなアプリケーションにおける機械学習モデルの利用が増加している一方で、悪意のある知識の埋め込みと抽出は、悪名高いバックドア攻撃とその防御と同等である。
本稿では,木組分類器における知識の埋め込みと抽出について検討し,ブール式で表現可能な知識,例えばロバスト性やバックドア攻撃に着目した。
埋め込みには、保存性(分類器の本来の性能は保存されている)、検証性(知識の検証が可能である)、ステルス性(埋め込みを容易に検出できない)が必要である。
そこで本研究では,ブラックボックス設定とホワイトボックス設定の2つの新しい,効果的な埋め込みアルゴリズムを提案する。
埋め込み以外にも,smt(satisfiability modulo theory)ソルバを用いて解く問題を減らすことで,組込み知識を抽出するアルゴリズムを開発した。
このアルゴリズムは知識の抽出に成功しているが、この還元はNP計算に繋がる。
そこで,バックドア攻撃に埋め込み,防御として抽出を適用すると,木組分類器で作業する場合の攻撃と防御の複雑さの差(P vs. NP)が示唆される。
アルゴリズムをさまざまなデータセットに適用し、結論を広範囲に検証します。
関連論文リスト
- A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク
i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文 参考訳（メタデータ） (2024-09-18T14:57:13Z) - LLMs as Probabilistic Minimally Adequate Teachers for DFA Learning [11.037017229299607]
大規模言語モデル(LLM)におけるインテリジェンス(インテリジェンス)の出現は、オートマチックラーニングへの統合に関する調査にインスピレーションを与えている。
本稿では,pMAT (probabilistic Minimally Adequate Teacher) の定式化について紹介する。
我々は,解答精度を向上し,学習したオートマタの正確性を確保する技術を開発した。
論文 参考訳（メタデータ） (2024-08-06T07:12:09Z) - Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks [63.269788236474234]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。
このスコアは、異なるアーキテクチャのモデルがあるにもかかわらず、バックドアの存在を示す指標であることを示している。
この技術は、オープンセット分類タスク用に設計されたモデル上のバックドアの検出を可能にするが、文献ではほとんど研究されていない。
論文 参考訳（メタデータ） (2024-02-28T21:29:16Z) - Verifiable Learning for Robust Tree Ensembles [8.207928136395184]
大規模分散アンサンブルと呼ばれる決定ツリーアンサンブルのクラスは、制限された時間で実行されるセキュリティ検証アルゴリズムを認めている。
我々は、ラベル付きデータから大規模決定木を自動学習する新しいトレーニングアルゴリズムを設計することで、このアイデアの利点を示す。
公開データセットの実験結果から,我々のアルゴリズムを用いてトレーニングした大域的なアンサンブルを数秒で検証できることを確認した。
論文 参考訳（メタデータ） (2023-05-05T15:37:23Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Open-Set Automatic Target Recognition [52.27048031302509]
オートマチックターゲット認識(Automatic Target Recognition、ATR)は、異なるセンサーから取得したデータに基づいてターゲットを認識しようとするコンピュータビジョンアルゴリズムのカテゴリである。
既存のATRアルゴリズムは、トレーニングとテストが同じクラス分布を持つ従来のクローズドセット手法向けに開発されている。
ATRアルゴリズムのオープンセット認識機能を実現するためのオープンセット自動ターゲット認識フレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-10T21:28:24Z) - Continual Learning with Deep Learning Methods in an Application-Oriented
Context [0.0]
人工知能(AI)の重要な研究領域は、データから知識を自動的に導出することである。
ディープニューラルネットワーク(Deep Neural Networks, DNN)と呼ばれる、"ディープラーニング"モデルに分類される機械学習アルゴリズムの一種。
DNNは、新しい知識が既存のベースに追加されるのを防ぐ問題の影響を受けます。
論文 参考訳（メタデータ） (2022-07-12T10:13:33Z) - Learning Bayesian Networks in the Presence of Structural Side
Information [22.734574764075226]
本研究では,システムに関する構造的側面情報が得られる場合に,変数の集合のベイズネットワーク(BN)を学習する問題について検討する。
そこで我々は,そのような知識を学習プロセスに効率的に組み込むアルゴリズムを開発した。
我々の研究の結果、木幅の有界BNは複雑に学習できることが示されている。
論文 参考訳（メタデータ） (2021-12-20T22:14:19Z) - A black-box adversarial attack for poisoning clustering [78.19784577498031]
本稿では,クラスタリングアルゴリズムのロバスト性をテストするために,ブラックボックス対逆攻撃法を提案する。
我々の攻撃は、SVM、ランダムフォレスト、ニューラルネットワークなどの教師付きアルゴリズムに対しても転送可能であることを示す。
論文 参考訳（メタデータ） (2020-09-09T18:19:31Z) - Discovering Reinforcement Learning Algorithms [53.72358280495428]
強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。
本稿では,更新ルール全体を検出するメタラーニング手法を提案する。
これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
論文 参考訳（メタデータ） (2020-07-17T07:38:39Z) - Generalizing Outside the Training Set: When Can Neural Networks Learn
Identity Effects? [1.2891210250935143]
標準アーキテクチャによるディープニューラルネットワークやバックプロパゲーションによるトレーニングを含むアルゴリズムのクラスが、新しい入力に一般化可能であることを示す。
我々は,新しい入力に一般化するアルゴリズムの能力に対する異なる入力エンコーディングの効果を探索する計算実験で,我々の理論を実証する。
論文 参考訳（メタデータ） (2020-05-09T01:08:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。