論文の概要: Improving Certified Robustness via Statistical Learning with Logical Reasoning

• arxiv url: http://arxiv.org/abs/2003.00120v6
• Date: Wed, 26 Oct 2022 04:43:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 01:54:55.626534
• Title: Improving Certified Robustness via Statistical Learning with Logical Reasoning
• Title（参考訳）: 論理推論による統計的学習による認定ロバスト性の改善
• Authors: Zhuolin Yang, Zhikuan Zhao, Boxin Wang, Jiawei Zhang, Linyi Li, Hengzhi Pei, Bojan Karlas, Ji Liu, Heng Guo, Ce Zhang, and Bo Li
• Abstract要約: マルコフ論理ネットワーク(MLN)を用いて,統計的MLモデルと知識(論理規則として表現される)を推論コンポーネントとして統合することを提案する。 知識に基づく論理的推論による証明された堅牢性は、明らかに最先端技術よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 36.79881998910639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intensive algorithmic efforts have been made to enable the rapid improvements of certificated robustness for complex ML models recently. However, current robustness certification methods are only able to certify under a limited perturbation radius. Given that existing pure data-driven statistical approaches have reached a bottleneck, in this paper, we propose to integrate statistical ML models with knowledge (expressed as logical rules) as a reasoning component using Markov logic networks (MLN, so as to further improve the overall certified robustness. This opens new research questions about certifying the robustness of such a paradigm, especially the reasoning component (e.g., MLN). As the first step towards understanding these questions, we first prove that the computational complexity of certifying the robustness of MLN is #P-hard. Guided by this hardness result, we then derive the first certified robustness bound for MLN by carefully analyzing different model regimes. Finally, we conduct extensive experiments on five datasets including both high-dimensional images and natural language texts, and we show that the certified robustness with knowledge-based logical reasoning indeed significantly outperforms that of the state-of-the-art.
• Abstract（参考訳）: 近年,複雑なmlモデルの証明書ロバスト性が急速に向上するために,集中型アルゴリズムが開発されている。 しかし、現在の堅牢性認証法は、限られた摂動半径の下でのみ認証できる。 そこで本稿では,マルコフ論理ネットワーク(MLN)を用いて,統計的MLモデルと知識(論理規則として表現される)を推論コンポーネントとして統合し,総合的信頼性の向上を図ることを提案する。 これにより、そのようなパラダイムの堅牢性、特に推論要素(例えばMLN)の証明に関する新しい研究の疑問が開かれる。 これらの疑問を理解するための最初のステップとして、MLNの堅牢性を証明する計算複雑性が#P-hardであることを最初に証明する。 この硬さの結果に導かれ、異なるモデル体制を慎重に分析することにより、MLNに対して初めて認証された堅牢性を導出する。 最後に、高次元画像と自然言語テキストの両方を含む5つのデータセットについて広範な実験を行い、知識に基づく論理推論による証明の堅牢性が最先端のものを大幅に上回っていることを示す。

関連論文リスト

• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Language Model Cascades: Token-level uncertainty and beyond [65.38515344964647]
  言語モデル(LM)の最近の進歩により、複雑なNLPタスクの品質が大幅に向上した。 Cascadingは、より好ましいコスト品質のトレードオフを達成するためのシンプルな戦略を提供する。 トークンレベルの不確実性を学習後遅延ルールに組み込むことで,単純な集約戦略を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2024-04-15T21:02:48Z)
• Convergence of Gradient-based MAML in LQR [1.2328446298523066]
  本研究の目的は,システム2次最適 (LQR) に適用した場合のMAML (Modelagnostic Meta-learning) の局所収束特性を検討することである。 この研究は、LQRにおけるMAMLの収束を示すための単純な数値結果も提示する。
  論文  参考訳（メタデータ） (2023-09-12T20:24:37Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Uncertainty in Extreme Multi-label Classification [81.14232824864787]
  eXtreme Multi-label Classification (XMC)は、Webスケールの機械学習アプリケーションにおいて、ビッグデータの時代において不可欠なタスクである。 本稿では,確率的アンサンブルに基づく木系XMCモデルの一般的な不確実性定量化手法について検討する。 特に,XMCにおけるラベルレベルおよびインスタンスレベルの不確実性を解析し,ビームサーチに基づく一般的な近似フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-18T20:54:33Z)
• CARE: Certifiably Robust Learning with Reasoning via Variational Inference [26.210129662748862]
  推論パイプライン(CARE)を用いた頑健な学習を提案する。 CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。 さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-09-12T07:15:52Z)
• Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
  自然言語における常識推論は、人工知能システムの望ましい能力である。 複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。 有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
  論文  参考訳（メタデータ） (2022-05-04T01:27:36Z)
• A Survey on Uncertainty Toolkits for Deep Learning [3.113304966059062]
  ディープラーニング(DL)における不確実性推定のためのツールキットに関する第1回調査について述べる。 モデリングおよび評価能力に関する11のツールキットについて検討する。 最初の2つは、それぞれのフレームワークに大きな柔軟性とシームレスな統合を提供するが、最後の2つは、より大きな方法論的スコープを持っている。
  論文  参考訳（メタデータ） (2022-05-02T17:23:06Z)
• On the Certified Robustness for Ensemble Models and Beyond [22.43134152931209]
  ディープニューラルネットワーク(DNN)は、敵の例に対して脆弱であり、それらを誤解することを目的としている。 我々は、アンサンブルMLモデルの信頼性の高いロバスト性を分析し、提供する。 理論的な知見に触発されて、我々は、頑健なアンサンブルMLモデルを訓練するための軽量なダイバーシティ正規化訓練(DRT)を提案する。
  論文  参考訳（メタデータ） (2021-07-22T18:10:41Z)
• A generalized framework for active learning reliability: survey and benchmark [0.0]
  本研究では,効果的な能動学習戦略を構築するためのモジュラーフレームワークを提案する。 信頼性ベンチマーク問題20の解決策として39の戦略を考案した。
  論文  参考訳（メタデータ） (2021-06-03T09:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。