論文の概要: TriNet: stabilizing self-supervised learning from complete or slow
collapse
- arxiv url: http://arxiv.org/abs/2301.00656v1
- Date: Mon, 12 Dec 2022 05:55:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-09 13:47:41.901685
- Title: TriNet: stabilizing self-supervised learning from complete or slow
collapse
- Title(参考訳): trinet:完全あるいはゆっくり崩壊した自己教師付き学習の安定化
- Authors: Lixin Cao, Jun Wang, Ben Yang, Dan Su, Dong Yu
- Abstract要約: 本稿では,崩壊を防止し,事前学習を安定化するための新しい三分岐アーキテクチャTriNetを提案する。
実験結果から,提案手法は事前学習の安定化と高速化を実現し,単語誤り率(WERR)を5.32%削減できることがわかった。
- 参考スコア(独自算出の注目度): 35.427919139877275
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Self-supervised learning (SSL) models confront challenges of abrupt
informational collapse or slow dimensional collapse. We propose TriNet, which
introduces a novel triple-branch architecture for preventing collapse and
stabilizing the pre-training. Our experimental results show that the proposed
method notably stabilizes and accelerates pre-training and achieves a relative
word error rate reduction (WERR) of 5.32% compared to the state-of-the-art
(SOTA) Data2vec for a downstream benchmark ASR task. We will release our code
at https://github.com/tencent-ailab/.
- Abstract(参考訳): 自己教師付き学習(SSL)モデルは、突然の情報崩壊や遅い次元崩壊という課題に直面している。
本稿では,崩壊を防止し,事前学習を安定化するための新しい三分岐アーキテクチャTriNetを提案する。
提案手法は,下降ベンチマークasrタスクのsof-the-art(sota)データ2vecと比較して,事前学習を安定化し,5.32%の単語誤り率低減(werr)を実現する。
コードはhttps://github.com/tencent-ailab/でリリースします。
関連論文リスト
- Reframing Offline Reinforcement Learning as a Regression Problem [0.0]
本研究は,決定木を用いて解ける回帰問題として,オフライン強化学習の改革を提案する。
勾配木ではエージェントのトレーニングと推論が非常に高速であることが観察された。
この改良された問題に固有の単純化にもかかわらず、我々のエージェントは、少なくとも確立された手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2024-01-21T23:50:46Z) - FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with
Pre-trained Vision-Language Models [62.663113296987085]
クラス増分学習(class-incremental learning)は、モデルが限られたデータに基づいて漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。
冗長特徴除去器(RFE)と空間ノイズ補償器(SNC)の2つの新しいコンポーネントを紹介する。
既存の3次元データセットの不均衡を考慮し、3次元FSCILモデルのより微妙な評価を提供する新しい評価指標を提案する。
論文 参考訳(メタデータ) (2023-12-28T14:52:07Z) - Dynamic Sub-graph Distillation for Robust Semi-supervised Continual
Learning [52.046037471678005]
半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。
半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
論文 参考訳(メタデータ) (2023-12-27T04:40:12Z) - Neural Collapse Terminus: A Unified Solution for Class Incremental
Learning and Its Variants [166.916517335816]
本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。
ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。
本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
論文 参考訳(メタデータ) (2023-08-03T13:09:59Z) - Distributed Learning in Heterogeneous Environment: federated learning
with adaptive aggregation and computation reduction [37.217844795181975]
異種データ、時間的変化のある無線条件、コンピューティングに制限のあるデバイスは3つの大きな課題である。
これらの課題に対処するための戦略を提案する。
提案手法は, 適度な遅延環境下で最大15ラウンドの通信遅延を許容できる。
論文 参考訳(メタデータ) (2023-02-16T16:32:54Z) - Stabilizing Off-Policy Deep Reinforcement Learning from Pixels [9.998078491879145]
ピクセル観測から学んだオフ政治強化は、非常に不安定である。
これらの不安定性は,畳み込みエンコーダと低次報酬を用いた時間差学習によって生じることを示す。
本稿では, エンコーダの勾配に適応的な正規化を提供する手法であるA-LIXを提案する。
論文 参考訳(メタデータ) (2022-07-03T08:52:40Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳(メタデータ) (2022-05-19T08:37:56Z) - Are Negative Samples Necessary in Entity Alignment? An Approach with
High Performance, Scalability and Robustness [26.04006507181558]
本稿では,高パフォーマンス,高スケーラビリティ,高ロバスト性を実現する3つの新しいコンポーネントを持つ新しいEA手法を提案する。
提案手法の有効性と有効性を検討するために,いくつかの公開データセットについて詳細な実験を行った。
論文 参考訳(メタデータ) (2021-08-11T15:20:41Z) - Enabling Retrain-free Deep Neural Network Pruning using Surrogate
Lagrangian Relaxation [2.691929135895278]
サロゲート・ラグランジアン・リラクゼーション(SLR)に基づく体系的な軽量化最適化手法を開発。
SLRは、同じ精度で最先端技術よりも高い圧縮率を達成する。
再学習の予算が限られているため,本手法はモデル精度を迅速に回復する。
論文 参考訳(メタデータ) (2020-12-18T07:17:30Z) - SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural
Networks [81.64530401885476]
本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。
具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。
我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
論文 参考訳(メタデータ) (2020-10-19T09:23:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。