論文の概要: Learning Permutation-Invariant Embeddings for Description Logic Concepts

• arxiv url: http://arxiv.org/abs/2303.01844v1
• Date: Fri, 3 Mar 2023 10:57:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 15:24:02.978878
• Title: Learning Permutation-Invariant Embeddings for Description Logic Concepts
• Title（参考訳）: 記述論理概念のための置換不変組込みの学習
• Authors: Caglar Demir, Axel-Cyrille Ngonga Ngomo
• Abstract要約: 概念学習は、背景知識と入力例から記述論理の概念を学ぶことを扱う。 この非自明なタスクは、無限の準順序空間内の探索問題として定式化されることが多い。 学習問題を多ラベル分類問題として再構成し、置換不変な埋め込みを学習するニューラル埋め込みモデル(NERO)を提案する。
• 参考スコア（独自算出の注目度）: 1.1650381752104297
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Concept learning deals with learning description logic concepts from a background knowledge and input examples. The goal is to learn a concept that covers all positive examples, while not covering any negative examples. This non-trivial task is often formulated as a search problem within an infinite quasi-ordered concept space. Although state-of-the-art models have been successfully applied to tackle this problem, their large-scale applications have been severely hindered due to their excessive exploration incurring impractical runtimes. Here, we propose a remedy for this limitation. We reformulate the learning problem as a multi-label classification problem and propose a neural embedding model (NERO) that learns permutation-invariant embeddings for sets of examples tailored towards predicting $F_1$ scores of pre-selected description logic concepts. By ranking such concepts in descending order of predicted scores, a possible goal concept can be detected within few retrieval operations, i.e., no excessive exploration. Importantly, top-ranked concepts can be used to start the search procedure of state-of-the-art symbolic models in multiple advantageous regions of a concept space, rather than starting it in the most general concept $\top$. Our experiments on 5 benchmark datasets with 770 learning problems firmly suggest that NERO significantly (p-value <1%) outperforms the state-of-the-art models in terms of $F_1$ score, the number of explored concepts, and the total runtime. We provide an open-source implementation of our approach.
• Abstract（参考訳）: 概念学習は、背景知識と入力例から記述論理の概念を学ぶことを扱う。 目標は、すべてのポジティブな例をカバーし、否定的な例をカバーしないコンセプトを学ぶことである。 この非自明なタスクはしばしば、無限の準順序空間内の探索問題として定式化される。 現状のモデルはこの問題に対処するためにうまく適用されてきたが、その大規模な応用は、過度な探索による非現実的な実行環境の獲得によって著しく妨げられている。 本稿では,この制限に対する対策を提案する。 我々は,学習問題を多ラベル分類問題として再検討し,事前選択された記述論理概念のF_1$スコア予測に適した例集合に対する置換不変埋め込みを学習するニューラル埋め込みモデル(NERO)を提案する。 このような概念を予測スコアの順にランク付けすることで、いくつかの検索操作、すなわち過剰な探索なしに、可能な目標概念を検出できる。 重要なことに、トップランクの概念は、最も一般的な概念である$\top$から始めるのではなく、概念空間の複数の有利な領域における最先端のシンボルモデルの探索手順を開始するために使われる。 770の学習問題を持つ5つのベンチマークデータセットに対する実験から、NEROは、F_1$スコア、探索された概念の数、総実行時間において、最先端モデルよりもかなり優れていることが強く示唆されている。 このアプローチのオープンソース実装を提供しています。

関連論文リスト

• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• Incorporating Expert Rules into Neural Networks in the Framework of Concept-Based Learning [2.9370710299422598]
  論理規則とニューラルネットワークを組み合わせて概念の確率を予測する方法が提案されている。 提案する課題の解決とニューラルネットワークのトレーニングに,いくつかのアプローチを提案する。 提案されたアルゴリズムのコードは公開されている。
  論文  参考訳（メタデータ） (2024-02-22T17:33:49Z)
• Probing Classifiers are Unreliable for Concept Removal and Detection [18.25734277357466]
  テキストデータに基づいてトレーニングされたニューラルネットワークモデルは、その表現において望ましくない言語的あるいはセンシティブな概念を符号化する。 近年の研究では、そのような不要な概念をモデル表現から除去するためのポストホックおよび逆法が提案されている。 これらの手法は非生産的であり、最悪の場合、すべてのタスク関連機能を破壊する可能性がある。
  論文  参考訳（メタデータ） (2022-07-08T23:15:26Z)
• Reinforcement Explanation Learning [4.852320309766702]
  従順写像を生成するブラックボックス法は、決定を説明するためにモデルの内部を使わないという事実から、特に興味深い。 逐次探索問題としてサリエンシマップ生成を定式化し、強化学習(RL)を利用して入力画像から証拠を蓄積する。 3つのベンチマークデータセットの実験は、提案手法がパフォーマンスを損なわずに最先端の予測時間よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-26T10:20:01Z)
• Search Methods for Sufficient, Socially-Aligned Feature Importance Explanations with In-Distribution Counterfactuals [72.00815192668193]
  特徴重要度(FI)推定は一般的な説明形式であり、テスト時に特定の入力特徴を除去することによって生じるモデル信頼度の変化を計算し、評価することが一般的である。 FIに基づく説明の未探索次元についていくつかの考察を行い、この説明形式に対する概念的および実証的な改善を提供する。
  論文  参考訳（メタデータ） (2021-06-01T20:36:48Z)
• Replacing Rewards with Examples: Example-Based Policy Search via Recursive Classification [133.20816939521941]
  標準的なマルコフ決定プロセス形式では、ユーザーは報酬関数を書き留めてタスクを指定する。 多くのシナリオでは、ユーザーはタスクを単語や数字で記述できないが、タスクが解決された場合の世界がどのように見えるかを簡単に示すことができる。 この観察に動機づけられた制御アルゴリズムは、成功した結果状態の例だけを考慮すれば、成功する結果につながる確率の高い状態を訪問することを目的としている。
  論文  参考訳（メタデータ） (2021-03-23T16:19:55Z)
• Sparse-Interest Network for Sequential Recommendation [78.83064567614656]
  本稿では,シーケンシャルレコメンデーションのためのtextbfSparse textbfInterest textbfNEtwork(SINE)を提案する。 我々のスパース関心モジュールは、大きなコンセプトプールから各ユーザに対してスパースの概念セットを適応的に推測することができる。 SINEは最先端の手法よりも大幅に改善できる。
  論文  参考訳（メタデータ） (2021-02-18T11:03:48Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)
• Mnemonics Training: Multi-Class Incremental Learning without Forgetting [131.1065577648532]
  マルチクラスインクリメンタルラーニング(MCIL)は、従来の概念に基づいてトレーニングされたモデルを漸進的に更新することで、新しい概念を学習することを目的としている。 本稿では,前例をパラメータ化し,エンドツーエンドで最適化できるようにする,新しい,かつ自動的なフレームワークを提案する。 CIFAR-100, ImageNet-Subset, ImageNet の3つのMCILベンチマークで大規模な実験を行い, メニーモニック・エスペクタの使用が最先端をはるかに上回ることを示す。
  論文  参考訳（メタデータ） (2020-02-24T12:55:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。