論文の概要: Distilling Task-specific Logical Rules from Large Pre-trained Models

• arxiv url: http://arxiv.org/abs/2210.02768v1
• Date: Thu, 6 Oct 2022 09:12:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 16:16:35.802641
• Title: Distilling Task-specific Logical Rules from Large Pre-trained Models
• Title（参考訳）: 大規模事前学習モデルによるタスク固有論理則の蒸留
• Authors: Tao Chen, Luxin Liu, Xuepeng Jia, Baoliang Cui, Haihong Tang, Siliang Tang
• Abstract要約: 本研究では,大規模な事前学習モデルからタスク固有の論理規則を抽出する新しい枠組みを開発する。 具体的には、初期シードルールを生成するための知識エキスパートとして、最近のプロンプトベースの言語モデルを借りる。 3つのパブリックなエンティティタグ付けベンチマークの実験は、提案フレームワークの有効性を実証している。
• 参考スコア（独自算出の注目度）: 24.66436804853525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Logical rules, both transferable and explainable, are widely used as weakly supervised signals for many downstream tasks such as named entity tagging. To reduce the human effort of writing rules, previous researchers adopt an iterative approach to automatically learn logical rules from several seed rules. However, obtaining more seed rules can only be accomplished by extra human annotation with heavy costs. Limited by the size and quality of the seed rules, the model performance of previous systems is bounded. In this paper, we develop a novel framework STREAM to distill task-specific logical rules from large pre-trained models. Specifically, we borrow recent prompt-based language models as the knowledge expert to yield initial seed rules, and based on the formed high-quality instance pool that acts as an intermediary role, we keep teaching the expert to fit our task and learning task-specific logical rules. Experiments on three public named entity tagging benchmarks demonstrate the effectiveness of our proposed framework. With several predefined prompt templates, our system has gained significant improvements over previous state-of-the-art methods.
• Abstract（参考訳）: 論理規則は、転送可能かつ説明可能であり、名前付きエンティティタグ付けのような多くの下流タスクの弱い教師付き信号として広く使われている。 ルールを書く人の労力を減らすために、以前の研究者はいくつかのシードルールから論理ルールを自動的に学習する反復的なアプローチを採用した。 しかし、より多くのシードルールを取得することは、重いコストで追加の人間のアノテーションによってのみ達成できる。 シードルールのサイズと品質によって制限され、以前のシステムのモデル性能は制限される。 本稿では,大規模な事前学習モデルからタスク固有の論理ルールを抽出する新しいフレームワークSTREAMを開発する。 具体的には、最近のプロンプトベースの言語モデルを知識エキスパートとして借用し、中間的な役割として機能する高品質なインスタンスプールを形成した上で、専門家にタスクに合うように教え、タスク固有の論理ルールを学習し続けます。 3つのパブリックなエンティティタグ付けベンチマークの実験は、提案フレームワークの有効性を実証している。 いくつかの事前定義されたプロンプトテンプレートにより,従来の最先端手法よりも大幅に改善されている。

関連論文リスト

• DECIDER: A Dual-System Rule-Controllable Decoding Framework for Language Generation [57.07295906718989]
  制約付き復号法は,事前学習言語モデル(PLM)が生成するテキストの意味やスタイルを,推論中に特定のターゲット語を用いて制御することを目的としている。 我々は, PLM を制御するためのタスクの完了方法に関するルールをプログラムできる新しい復号化フレームワーク DECIDER を提案する。
  論文  参考訳（メタデータ） (2024-03-04T11:49:08Z)
• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)
• ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning [107.61997887260056]
  そこで我々は,知識グラフ上の論理ルールをマイニングするための大規模言語モデルの力を解き放つ新しいフレームワークChatRuleを提案する。 具体的には、このフレームワークは、KGのセマンティック情報と構造情報の両方を活用するLLMベースのルールジェネレータで開始される。 生成されたルールを洗練させるために、ルールランキングモジュールは、既存のKGから事実を取り入れてルール品質を推定する。
  論文  参考訳（メタデータ） (2023-09-04T11:38:02Z)
• Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery [76.63807209414789]
  我々は,クラスiNCDにおける現状問題に挑戦し,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。 凍結したPTMバックボーンと学習可能な線形分類器から構成される単純なベースラインを提案する。
  論文  参考訳（メタデータ） (2023-03-28T13:47:16Z)
• Effective and interpretable dispatching rules for dynamic job shops via guided empirical learning [0.0]
  本論文は,機械学習とドメイン問題推論を組み合わせたスケジューリングのための最初の主要な試みである。 我々は、従来の動的ジョブショップスケジューリング問題において、タドネスを最小化するアプローチをテストする。 以上の結果から,本手法は既存の文献を著しく上回る,新しい最先端のルールを見出すことができたことが示唆された。
  論文  参考訳（メタデータ） (2021-09-07T20:46:45Z)
• Weakly Supervised Named Entity Tagging with Learnable Logical Rules [20.90760075357411]
  本稿では,いくつかのルールを弱い監督力として利用することにより,エンティティタグシステム構築の課題について検討する。 本稿では,ニューラルネットワークを完全自動で学習するために,高品質な論理規則をブートストラップする新しい手法TALLORを提案する。
  論文  参考訳（メタデータ） (2021-07-05T21:32:19Z)
• Rewriting a Deep Generative Model [56.91974064348137]
  我々は,深層生成モデルによって符号化された特定の規則の操作という,新たな問題設定を導入する。 本稿では,ディープネットワークの層を線形連想メモリとして操作することで,所望のルールを変更する定式化を提案する。 本稿では,生成モデルのルールを対話的に変更し,望ましい効果を得られるユーザインタフェースを提案する。
  論文  参考訳（メタデータ） (2020-07-30T17:58:16Z)
• Building Rule Hierarchies for Efficient Logical Rule Learning from Knowledge Graphs [20.251630903853016]
  本稿では,ルール階層を用いて非プロミッシングルールを抽出する新しい手法を提案する。 HPMの応用は非プロムルールの除去に有効であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T16:33:30Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Towards Learning Instantiated Logical Rules from Knowledge Graphs [20.251630903853016]
  本稿では,知識グラフから一階述語論理規則を抽出するために最適化された確率論的学習ルールGPFLを提案する。 GPFLは、抽出された経路を非循環的な抽象規則であるテンプレートに一般化する新しい2段階ルール生成機構を利用する。 オーバーフィッティングルールの存在、予測性能への影響、およびオーバーフィッティングルールをフィルタリングする単純なバリデーション手法の有効性を明らかにする。
  論文  参考訳（メタデータ） (2020-03-13T00:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。