論文の概要: Learning Horn Envelopes via Queries from Large Language Models

• arxiv url: http://arxiv.org/abs/2305.12143v2
• Date: Wed, 13 Sep 2023 11:49:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 18:00:57.847451
• Title: Learning Horn Envelopes via Queries from Large Language Models
• Title（参考訳）: 大規模言語モデルからのクエリによるHhorn Envelopesの学習
• Authors: Sophie Blum, Raoul Koudijs, Ana Ozaki and Samia Touileb
• Abstract要約: 本稿では,Angluinの正確な学習モデルに基づいて,学習したニューラルネットワークから知識を抽出する手法について検討する。 提案手法の適用性を示すために,事前学習された言語モデルの実験を行い,職業ベースの性別バイアスを露呈するルールを抽出する。
• 参考スコア（独自算出の注目度）: 9.042824455614031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate an approach for extracting knowledge from trained neural networks based on Angluin's exact learning model with membership and equivalence queries to an oracle. In this approach, the oracle is a trained neural network. We consider Angluin's classical algorithm for learning Horn theories and study the necessary changes to make it applicable to learn from neural networks. In particular, we have to consider that trained neural networks may not behave as Horn oracles, meaning that their underlying target theory may not be Horn. We propose a new algorithm that aims at extracting the "tightest Horn approximation" of the target theory and that is guaranteed to terminate in exponential time (in the worst case) and in polynomial time if the target has polynomially many non-Horn examples. To showcase the applicability of the approach, we perform experiments on pre-trained language models and extract rules that expose occupation-based gender biases.
• Abstract（参考訳）: 本稿では,Angluinの正確な学習モデルに基づいて,学習したニューラルネットワークから知識を抽出する手法について検討する。 このアプローチでは、oracleはトレーニングされたニューラルネットワークである。 ホルン理論を学習するためのアングリンの古典的アルゴリズムを検討し,ニューラルネットワークから学習するために必要な変化を研究する。 特に、訓練されたニューラルネットワークはホーンのオラクルとして振る舞うことができないため、その基礎となるターゲット理論はホーンではないかもしれない。 対象理論の「タイトなホーン近似」を抽出し、(最悪の場合)指数時間と多項式時間において、対象が多項式的に多くの非ホーン例を持つ場合の終了を保証する新しいアルゴリズムを提案する。 このアプローチの適用性を示すために,事前学習した言語モデルを用いて実験を行い,職業性バイアスを露呈する規則を抽出する。

関連論文リスト

• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Modeling rapid language learning by distilling Bayesian priors into artificial neural networks [18.752638142258668]
  我々は、ベイズモデルの強い帰納バイアスとニューラルネットワークの柔軟な表現を組み合わせたアプローチで、制限された自然主義的データからの学習が可能であることを示す。 得られたシステムは少数の例から形式的な言語パターンを学習することができる。 また、自然言語のコーパスから英語の構文の側面を学ぶこともできる。
  論文  参考訳（メタデータ） (2023-05-24T04:11:59Z)
• Extracting Rules from Neural Networks with Partial Interpretations [19.935097664711797]
  本研究は,学習者が質問を通じて教師と対話して,抽象的な目標概念を学習する,正確な学習モデルに基づく。 クエリを定式化する部分的な解釈を検討する。 これらは命題の真理性に関する知識の一部が不明な世界の表現として理解することができる。
  論文  参考訳（メタデータ） (2022-04-01T11:22:49Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• From Common Sense Reasoning to Neural Network Models through Multiple Preferences: an overview [0.0]
  本稿では、条件論理と優先論理とニューラルネットワークモデルの関係について論じる。 提案する概念的マルチ参照セマンティクスは,近年,デファシブルな記述ロジックに導入されている。 本稿では、自己組織化マップと多層受容器の事例を通して、一般的なアプローチについて述べる。
  論文  参考訳（メタデータ） (2021-07-10T16:25:19Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
  過パラメータのニューラルネットワークが制約を満たしていることを示す。 公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
  論文  参考訳（メタデータ） (2020-12-30T18:46:50Z)
• Distillation of Weighted Automata from Recurrent Neural Networks using a Spectral Approach [0.0]
  本稿では,ディープラーニングと文法推論のギャップを埋める試みである。 言語モデリングのためにトレーニングされたリカレントニューラルネットワークからフォーマルな言語を抽出するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2020-09-28T07:04:15Z)
• Generalized Leverage Score Sampling for Neural Networks [82.95180314408205]
  レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。 本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
  論文  参考訳（メタデータ） (2020-09-21T14:46:01Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。