論文の概要: Automatic Rule Induction for Efficient Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2205.09067v2
- Date: Thu, 19 May 2022 16:18:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 11:28:00.793784
- Title: Automatic Rule Induction for Efficient Semi-Supervised Learning
- Title(参考訳): 効率的な半教師付き学習のためのルール自動生成
- Authors: Reid Pryzant, Ziyi Yang, Yichong Xu, Chenguang Zhu, Michael Zeng
- Abstract要約: 半教師付き学習は、少量のラベル付きデータからNLPモデルを一般化できることを約束している。
事前訓練されたトランスモデルはブラックボックス相関エンジンとして機能し、説明が困難であり、時には信頼性に欠ける振る舞いをする。
本稿では,これらの課題に,簡易かつ汎用的なフレームワークであるAutomatic Rule Injection (ARI) を用いて対処することを提案する。
- 参考スコア(独自算出の注目度): 56.91428251227253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semi-supervised learning has shown promise in allowing NLP models to
generalize from small amounts of labeled data. Meanwhile, pretrained
transformer models act as black-box correlation engines that are difficult to
explain and sometimes behave unreliably. In this paper, we propose tackling
both of these challenges via Automatic Rule Induction (ARI), a simple and
general-purpose framework for the automatic discovery and integration of
symbolic rules into pretrained transformer models. First, we extract weak
symbolic rules from low-capacity machine learning models trained on small
amounts of labeled data. Next, we use an attention mechanism to integrate these
rules into high-capacity pretrained transformer models. Last, the
rule-augmented system becomes part of a self-training framework to boost
supervision signal on unlabeled data. These steps can be layered beneath a
variety of existing weak supervision and semi-supervised NLP algorithms in
order to improve performance and interpretability. Experiments across nine
sequence classification and relation extraction tasks suggest that ARI can
improve state-of-the-art methods with no manual effort and minimal
computational overhead.
- Abstract(参考訳): 半教師付き学習は、少量のラベル付きデータからNLPモデルを一般化できることを約束している。
一方、事前訓練されたトランスフォーマーモデルはブラックボックス相関エンジンとして機能するが、説明が難しく、時には確実に振る舞う。
本稿では,シンボル規則の自動発見と事前学習型トランスフォーマーモデルへの統合のための簡易かつ汎用的なフレームワークであるAutomatic Rule Injection (ARI) を用いて,これらの課題に対処することを提案する。
まず,少量のラベル付きデータに基づいて学習した低容量機械学習モデルから,弱い記号規則を抽出する。
次に,これらのルールを高容量事前学習トランスモデルに統合するために注意機構を用いる。
最後に、ルール強化システムは、ラベルなしデータの監視信号を強化するための自己学習フレームワークの一部となる。
これらのステップは、性能と解釈可能性を改善するために、様々な弱い監督と半教師付きNLPアルゴリズムの下に階層化することができる。
9つのシーケンス分類と関係抽出タスクによる実験により、ARIは手作業や計算オーバーヘッドを最小限にすることなく最先端の手法を改良できることが示唆された。
関連論文リスト
- A General Framework for Learning from Weak Supervision [97.4298482689398]
本稿では、新しいアルゴリズムを用いて、弱監督(GLWS)から学習するための一般的な枠組みを紹介する。
GLWSの中心は期待最大化(EM)の定式化であり、様々な弱い監督源を順応的に収容している。
また,EM計算要求を大幅に単純化する高度なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-02T21:48:50Z) - Maestro: Uncovering Low-Rank Structures via Trainable Decomposition [16.664016849293386]
我々は,Deep Neural Networks(DNN)におけるトレーニング可能な低ランク層のためのフレームワークMaestroを提案する。
提案手法は,一様分散データ上での線形写像のSVD分解と,線形オートエンコーダのPCAを復元することを示した。
論文 参考訳(メタデータ) (2023-08-28T23:08:15Z) - Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。
本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文 参考訳(メタデータ) (2023-06-27T05:43:47Z) - Trained Transformers Learn Linear Models In-Context [39.56636898650966]
トランスフォーマーとしての注意に基づくニューラルネットワークは、意図的学習(ICL)を示す顕著な能力を示した
線形回帰問題のランダムな例に対する変圧器の訓練において、これらのモデルの予測は通常の正方形の非線形性を模倣することを示した。
論文 参考訳(メタデータ) (2023-06-16T15:50:03Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳(メタデータ) (2023-06-07T17:59:31Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳(メタデータ) (2023-05-26T00:43:02Z) - Pseudo-Label Training and Model Inertia in Neural Machine Translation [18.006833174265612]
ニューラルマシン翻訳(NMT)モデルは、小さな入力変更に敏感であり、リトレーニングやインクリメンタルモデル更新間で大きな変動を示す可能性がある。
本研究は,NMT(Pseudo-label Training, PLT)において, フォワード翻訳や自己学習の関連技術に共通する頻繁な手法について研究する。
品質の影響はよく文書化されていますが、あまり知られていない効果が浮かび上がっています。PLはモデルの安定性を高めて、モデルの更新や入力の摂動をモデル化します。
論文 参考訳(メタデータ) (2023-05-19T16:45:19Z) - Semi-WTC: A Practical Semi-supervised Framework for Attack
Categorization through Weight-Task Consistency [19.97236038722335]
監視学習は、大量の高品質のデータとラベルを必要とする攻撃検出に広く利用されている。
本稿では,エンコーダと2分岐構造からなる半教師付ききめ細粒度攻撃分類フレームワークを提案する。
本モデルでは, 分類精度が5%向上し, 訓練時間の90%が短縮され, 最先端の半教師付き攻撃検出法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2022-05-19T16:30:31Z) - Recurrent Spectral Network (RSN): shaping the basin of attraction of a
discrete map to reach automated classification [4.724825031148412]
自動分類のための新しい戦略が導入された。これは、完全に訓練された動的システムを利用して、アイテムを異なる引き付け者に向けて操る。
非線型項はトランジェントに作用し、初期条件として供給されたデータを離散力学系に切り離すことができる。
我々の新しい分類手法であるRecurrent Spectral Network (RSN) は、画像処理訓練のための標準データセットと同様に、図形的な目的のために作成された単純なテストベッドモデルに挑戦することに成功した。
論文 参考訳(メタデータ) (2022-02-09T14:59:06Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。