論文の概要: Automatic Rule Induction for Efficient Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2205.09067v3
• Date: Fri, 20 May 2022 16:42:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 11:05:31.778513
• Title: Automatic Rule Induction for Efficient Semi-Supervised Learning
• Title（参考訳）: 効率的な半教師付き学習のためのルール自動生成
• Authors: Reid Pryzant, Ziyi Yang, Yichong Xu, Chenguang Zhu, Michael Zeng
• Abstract要約: 半教師付き学習は、少量のラベル付きデータからNLPモデルを一般化できることを約束している。 事前訓練されたトランスモデルはブラックボックス相関エンジンとして機能し、説明が困難であり、時には信頼性に欠ける振る舞いをする。 本稿では,これらの課題に,簡易かつ汎用的なフレームワークであるAutomatic Rule Injection (ARI) を用いて対処することを提案する。
• 参考スコア（独自算出の注目度）: 56.91428251227253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-supervised learning has shown promise in allowing NLP models to generalize from small amounts of labeled data. Meanwhile, pretrained transformer models act as black-box correlation engines that are difficult to explain and sometimes behave unreliably. In this paper, we propose tackling both of these challenges via Automatic Rule Induction (ARI), a simple and general-purpose framework for the automatic discovery and integration of symbolic rules into pretrained transformer models. First, we extract weak symbolic rules from low-capacity machine learning models trained on small amounts of labeled data. Next, we use an attention mechanism to integrate these rules into high-capacity pretrained transformer models. Last, the rule-augmented system becomes part of a self-training framework to boost supervision signal on unlabeled data. These steps can be layered beneath a variety of existing weak supervision and semi-supervised NLP algorithms in order to improve performance and interpretability. Experiments across nine sequence classification and relation extraction tasks suggest that ARI can improve state-of-the-art methods with no manual effort and minimal computational overhead.
• Abstract（参考訳）: 半教師付き学習は、少量のラベル付きデータからNLPモデルを一般化できることを約束している。 一方、事前訓練されたトランスフォーマーモデルはブラックボックス相関エンジンとして機能するが、説明が難しく、時には確実に振る舞う。 本稿では,シンボル規則の自動発見と事前学習型トランスフォーマーモデルへの統合のための簡易かつ汎用的なフレームワークであるAutomatic Rule Injection (ARI) を用いて,これらの課題に対処することを提案する。 まず,少量のラベル付きデータに基づいて学習した低容量機械学習モデルから,弱い記号規則を抽出する。 次に,これらのルールを高容量事前学習トランスモデルに統合するために注意機構を用いる。 最後に、ルール強化システムは、ラベルなしデータの監視信号を強化するための自己学習フレームワークの一部となる。 これらのステップは、性能と解釈可能性を改善するために、様々な弱い監督と半教師付きNLPアルゴリズムの下に階層化することができる。 9つのシーケンス分類と関係抽出タスクによる実験により、ARIは手作業や計算オーバーヘッドを最小限にすることなく最先端の手法を改良できることが示唆された。

関連論文リスト

• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• A General Framework for Learning from Weak Supervision [93.89870459388185]
  本稿では、新しいアルゴリズムを用いて、弱監督(GLWS)から学習するための一般的な枠組みを紹介する。 GLWSの中心は期待最大化(EM)の定式化であり、様々な弱い監督源を順応的に収容している。 また,EM計算要求を大幅に単純化する高度なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-02T21:48:50Z)
• FaultFormer: Pretraining Transformers for Adaptable Bearing Fault Classification [7.136205674624813]
  本稿では,トランスモデルに基づく自己教師型事前学習および微調整フレームワークを提案する。 特に、最先端のアキュラシーに到達するための異なるトークン化とデータ拡張戦略について検討する。 このパラダイムでは、異なるベアリング、障害、機械からラベル付けされていないデータに基づいてモデルを事前訓練し、新しいデータスカースアプリケーションに素早くデプロイすることが可能になる。
  論文  参考訳（メタデータ） (2023-12-04T22:51:02Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Trained Transformers Learn Linear Models In-Context [39.56636898650966]
  トランスフォーマーとしての注意に基づくニューラルネットワークは、意図的学習(ICL)を示す顕著な能力を示した 線形回帰問題のランダムな例に対する変圧器の訓練において、これらのモデルの予測は通常の正方形の非線形性を模倣することを示した。
  論文  参考訳（メタデータ） (2023-06-16T15:50:03Z)
• Pseudo-Label Training and Model Inertia in Neural Machine Translation [18.006833174265612]
  ニューラルマシン翻訳(NMT)モデルは、小さな入力変更に敏感であり、リトレーニングやインクリメンタルモデル更新間で大きな変動を示す可能性がある。 本研究は,NMT(Pseudo-label Training, PLT)において, フォワード翻訳や自己学習の関連技術に共通する頻繁な手法について研究する。 品質の影響はよく文書化されていますが、あまり知られていない効果が浮かび上がっています。PLはモデルの安定性を高めて、モデルの更新や入力の摂動をモデル化します。
  論文  参考訳（メタデータ） (2023-05-19T16:45:19Z)
• Semi-WTC: A Practical Semi-supervised Framework for Attack Categorization through Weight-Task Consistency [19.97236038722335]
  監視学習は、大量の高品質のデータとラベルを必要とする攻撃検出に広く利用されている。 本稿では,エンコーダと2分岐構造からなる半教師付ききめ細粒度攻撃分類フレームワークを提案する。 本モデルでは, 分類精度が5%向上し, 訓練時間の90%が短縮され, 最先端の半教師付き攻撃検出法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-05-19T16:30:31Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。