Fugu-MT 論文翻訳(概要): One Objective for All Models -- Self-supervised Learning for Topic Models

論文の概要: One Objective for All Models -- Self-supervised Learning for Topic Models

arxiv url: http://arxiv.org/abs/2203.03539v1
Date: Wed, 2 Feb 2022 06:20:59 GMT
ステータス: 処理完了
システム内更新日: 2023-02-27 00:56:52.196875
Title: One Objective for All Models -- Self-supervised Learning for Topic Models
Title（参考訳）: すべてのモデルのための1つの目的 -- トピックモデルのための自己教師あり学習
Authors: Zeping Luo, Cindy Weng, Shiyou Wu, Mo Zhou, Rong Ge
Abstract要約: トピックモデルによって生成されたデータに適用した場合、自己教師型学習は特定のモデルに偏る可能性がある。特に、再構成やコントラスト的なサンプルに基づく一般的な自己教師対象が、一般的なトピックモデルに有用な後部情報を復元できることを実証する。
参考スコア（独自算出の注目度）: 11.67381769733002
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-supervised learning has significantly improved the performance of many NLP tasks. In this paper, we highlight a key advantage of self-supervised learning -- when applied to data generated by topic models, self-supervised learning can be oblivious to the specific model, and hence is less susceptible to model misspecification. In particular, we prove that commonly used self-supervised objectives based on reconstruction or contrastive samples can both recover useful posterior information for general topic models. Empirically, we show that the same objectives can perform competitively against posterior inference using the correct model, while outperforming posterior inference using misspecified model.
Abstract（参考訳）: 自己教師付き学習は多くのNLPタスクの性能を大幅に改善した。本稿では,トピックモデルが生成するデータに適用する場合,自己教師付き学習は特定のモデルに限定されるため,モデル誤特定の影響を受けにくい,自己教師付き学習の利点を強調する。特に,一般の話題モデルにおいて,レコンストラクションやコントラストサンプルに基づく自己教師付き目標が有用な後方情報を回収できることを実証する。実験により,同じ目的が正しいモデルを用いて後部推論と競合し,不特定モデルを用いた後部推論よりも優れていることを示す。

関連論文リスト

Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文参考訳（メタデータ） (2023-10-26T17:59:46Z)
Mitigate Domain Shift by Primary-Auxiliary Objectives Association for Generalizing Person ReID [39.98444065846305]
ReIDモデルは、インスタンス分類の目的に関するトレーニングを通じてのみドメイン不変表現を学ぶのに苦労します。本稿では,弱いラベル付き歩行者唾液度検出のための補助学習目標を用いて,プライマリReIDインスタンス分類目標のモデル学習を指導する手法を提案する。我々のモデルは、最近のテストタイムダイアグラムで拡張してPAOA+を形成し、補助的な目的に対してオンザフライ最適化を行うことができる。
論文参考訳（メタデータ） (2023-10-24T15:15:57Z)
ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse [59.500060790983994]
本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。 ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
論文参考訳（メタデータ） (2023-08-17T19:12:13Z)
Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文参考訳（メタデータ） (2022-10-28T17:52:10Z)
How robust are pre-trained models to distribution shift? [82.08946007821184]
自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
論文参考訳（メタデータ） (2022-06-17T16:18:28Z)
General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文参考訳（メタデータ） (2021-12-20T14:47:32Z)
Effective dimension of machine learning models [4.721845865189576]
新しいデータを含むタスクにおけるトレーニング済みモデルのパフォーマンスに関する声明を作ることが、機械学習の主要な目標のひとつだ。様々な能力測定は、この能力を捉えようとするが、通常、我々が実際に観察するモデルの重要な特性を説明するのに不足する。本稿では,標準データセットの一般化誤差と相関するキャパシティ尺度として,局所有効次元を提案する。
論文参考訳（メタデータ） (2021-12-09T10:00:18Z)
Self-Supervised Models are Continual Learners [79.70541692930108]
本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
論文参考訳（メタデータ） (2021-12-08T10:39:13Z)
Rethinking Self-Supervision Objectives for Generalizable Coherence Modeling [8.329870357145927]
機械生成テキストのコヒーレンス評価は、検討すべきコヒーレンスモデルの主要な応用の1つである。タスク全体にわたってうまく一般化するモデルをもたらす訓練データと自己超越目標について検討する。本研究では, 負サンプルの密度の増加が基本モデルを改善することを実証的に示し, 大域的負のキューを用いることで, 強負のサンプルを訓練しながらモデルをさらに改善・安定化する。
論文参考訳（メタデータ） (2021-10-14T07:44:14Z)
Distill on the Go: Online knowledge distillation in self-supervised learning [1.1470070927586016]
最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
論文参考訳（メタデータ） (2021-04-20T09:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。