論文の概要: Knodle: Modular Weakly Supervised Learning with PyTorch
- arxiv url: http://arxiv.org/abs/2104.11557v1
- Date: Fri, 23 Apr 2021 12:33:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-26 16:05:12.224605
- Title: Knodle: Modular Weakly Supervised Learning with PyTorch
- Title（参考訳）: Knodle: PyTorchによるModular Weakly Supervised Learning
- Authors: Anastasiia Sedova, Andreas Stephan, Marina Speranskaya, Benjamin Roth
- Abstract要約: Knodleは、弱いデータアノテーション、強力なディープラーニングモデル、弱い教師付きトレーニングを改善する方法を分離するためのソフトウェアフレームワークです。
このモジュール化により、トレーニングプロセスはデータセットの特性、ルールの一致、あるいは最終的に予測に使用されるディープラーニングモデルの要素などのきめ細かい情報にアクセスできるようになる。
- 参考スコア（独自算出の注目度）: 5.874587993411972
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Methods for improving the training and prediction quality of weakly
supervised machine learning models vary in how much they are tailored to a
specific task, or integrated with a specific model architecture. In this work,
we propose a software framework Knodle that provides a modularization for
separating weak data annotations, powerful deep learning models, and methods
for improving weakly supervised training. This modularization gives the
training process access to fine-grained information such as data set
characteristics, matches of heuristic rules, or elements of the deep learning
model ultimately used for prediction. Hence, our framework can encompass a wide
range of training methods for improving weak supervision, ranging from methods
that only look at the correlations of rules and output classes (independently
of the machine learning model trained with the resulting labels), to those
methods that harness the interplay of neural networks and weakly labeled data.
- Abstract（参考訳）: 弱い教師付き機械学習モデルのトレーニングと予測品質を改善する方法は、特定のタスクにどの程度合わせるか、あるいは特定のモデルアーキテクチャに統合するかによって異なる。
本研究では,弱いデータアノテーションを分離するためのモジュール化,強力なディープラーニングモデル,弱い教師付きトレーニングを改善する手法を提供するソフトウェアフレームワークknodleを提案する。
このモジュール化により、トレーニングプロセスはデータセットの特性、ヒューリスティックルールのマッチング、最終的には予測に使用されるディープラーニングモデルの要素など、きめ細かい情報にアクセスできるようになる。
したがって、我々のフレームワークは、ルールと出力クラス(結果ラベルで訓練された機械学習モデルとは独立して)の相関のみを考察する手法から、ニューラルネットワークと弱いラベル付きデータの相互作用を利用する方法まで、弱い監視を改善するための幅広い訓練方法を含むことができる。
関連論文リスト
- Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。
LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。
本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
論文 参考訳（メタデータ） (2024-11-13T08:56:35Z) - Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。
知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。
Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。
また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
論文 参考訳（メタデータ） (2024-07-25T07:09:35Z) - Machine Unlearning in Contrastive Learning [3.6218162133579694]
本稿では,機械学習を効果的に行うためのモデルトレーニングのための,勾配制約に基づく新しいアプローチを提案する。
提案手法は,コントラスト学習モデルだけでなく,教師付き学習モデルにも有能な性能を示す。
論文 参考訳（メタデータ） (2024-05-12T16:09:01Z) - Personalized Federated Learning with Contextual Modulation and
Meta-Learning [2.7716102039510564]
フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。
本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-23T08:18:22Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Reinforcement Learning for Topic Models [3.42658286826597]
本稿では,ProdLDAにおける変分オートエンコーダを連続行動空間強化学習ポリシーに置き換えることにより,トピックモデリングに強化学習手法を適用した。
ニューラルネットワークアーキテクチャの近代化、ELBO損失の重み付け、コンテキスト埋め込みの使用、トピックの多様性と一貫性の計算による学習プロセスの監視など、いくつかの変更を導入している。
論文 参考訳（メタデータ） (2023-05-08T16:41:08Z) - Rank-Minimizing and Structured Model Inference [7.067529286680843]
この研究は、構造の形にエンコードされた物理的な洞察を持つデータからモデルを推論する手法を導入する。
提案手法は最小ランク解の方程式を数値的に解き、低次モデルを得る。
数値実験により、構造保存とランクの組み合わせは、同等の予測品質のモデルよりも桁違いに低い自由度を持つ正確なモデルをもたらすことが示された。
論文 参考訳（メタデータ） (2023-02-19T09:46:35Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳（メタデータ） (2020-07-17T01:52:34Z) - Learning to Reweight with Deep Interactions [104.68509759134878]
本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。
クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
論文 参考訳（メタデータ） (2020-07-09T09:06:31Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳（メタデータ） (2020-06-12T12:23:50Z) - Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。
タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。
この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
論文 参考訳（メタデータ） (2020-02-03T06:13:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。