Fugu-MT 論文翻訳(概要): TriNet: stabilizing self-supervised learning from complete or slow collapse

論文の概要: TriNet: stabilizing self-supervised learning from complete or slow collapse

arxiv url: http://arxiv.org/abs/2301.00656v1
Date: Mon, 12 Dec 2022 05:55:07 GMT
ステータス: 処理完了
システム内更新日: 2023-01-09 13:47:41.901685
Title: TriNet: stabilizing self-supervised learning from complete or slow collapse
Title（参考訳）: trinet:完全あるいはゆっくり崩壊した自己教師付き学習の安定化
Authors: Lixin Cao, Jun Wang, Ben Yang, Dan Su, Dong Yu
Abstract要約: 本稿では,崩壊を防止し,事前学習を安定化するための新しい三分岐アーキテクチャTriNetを提案する。実験結果から,提案手法は事前学習の安定化と高速化を実現し,単語誤り率(WERR)を5.32%削減できることがわかった。
参考スコア（独自算出の注目度）: 35.427919139877275
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Self-supervised learning (SSL) models confront challenges of abrupt informational collapse or slow dimensional collapse. We propose TriNet, which introduces a novel triple-branch architecture for preventing collapse and stabilizing the pre-training. Our experimental results show that the proposed method notably stabilizes and accelerates pre-training and achieves a relative word error rate reduction (WERR) of 5.32% compared to the state-of-the-art (SOTA) Data2vec for a downstream benchmark ASR task. We will release our code at https://github.com/tencent-ailab/.
Abstract（参考訳）: 自己教師付き学習(SSL)モデルは、突然の情報崩壊や遅い次元崩壊という課題に直面している。本稿では,崩壊を防止し,事前学習を安定化するための新しい三分岐アーキテクチャTriNetを提案する。提案手法は,下降ベンチマークasrタスクのsof-the-art(sota)データ2vecと比較して,事前学習を安定化し,5.32%の単語誤り率低減(werr)を実現する。コードはhttps://github.com/tencent-ailab/でリリースします。

関連論文リスト

Improving Data-aware and Parameter-aware Robustness for Continual Learning [3.480626767752489]
本報告では, オフラヤの非効率な取扱いから, この不整合が生じることを解析する。本稿では,ロバスト連続学習(RCL)手法を提案する。提案手法は, 堅牢性を効果的に維持し, 新たなSOTA(State-of-the-art)結果を得る。
論文参考訳（メタデータ） (2024-05-27T11:21:26Z)
MinBackProp -- Backpropagating through Minimal Solvers [0.4604003661048266]
インプリシット関数定理(IFT)を用いて微分を計算し、最小問題解法の解をバックプロパゲートすることは単純で高速で安定であることを示す。本稿では,3次元点登録のための外乱除去重量をトレーニングするおもちゃの例と,画像マッチングにおける外乱除去とRANSACサンプリングネットワークの実際の応用について述べる。
論文参考訳（メタデータ） (2024-04-27T19:54:42Z)
OrCo: Towards Better Generalization via Orthogonality and Contrast for Few-Shot Class-Incremental Learning [57.43911113915546]
FSCIL(Few-Shot Class-Incremental Learning)は、問題空間を限られたデータで拡張するパラダイムを導入する。 FSCILの手法は、データが漸進的に到着するにつれて、破滅的な忘れ込みの課題に直面している。表現空間における特徴の直交性と対照的な学習という2つの基本原理に基づいて構築されたOrCoフレームワークを提案する。
論文参考訳（メタデータ） (2024-03-27T13:30:48Z)
Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning [52.046037471678005]
半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
論文参考訳（メタデータ） (2023-12-27T04:40:12Z)
Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
論文参考訳（メタデータ） (2023-08-03T13:09:59Z)
Distributed Learning in Heterogeneous Environment: federated learning with adaptive aggregation and computation reduction [37.217844795181975]
異種データ、時間的変化のある無線条件、コンピューティングに制限のあるデバイスは3つの大きな課題である。これらの課題に対処するための戦略を提案する。提案手法は, 適度な遅延環境下で最大15ラウンドの通信遅延を許容できる。
論文参考訳（メタデータ） (2023-02-16T16:32:54Z)
Stabilizing Off-Policy Deep Reinforcement Learning from Pixels [9.998078491879145]
ピクセル観測から学んだオフ政治強化は、非常に不安定である。これらの不安定性は,畳み込みエンコーダと低次報酬を用いた時間差学習によって生じることを示す。本稿では, エンコーダの勾配に適応的な正規化を提供する手法であるA-LIXを提案する。
論文参考訳（メタデータ） (2022-07-03T08:52:40Z)
Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文参考訳（メタデータ） (2022-05-19T08:37:56Z)
Enabling Retrain-free Deep Neural Network Pruning using Surrogate Lagrangian Relaxation [2.691929135895278]
サロゲート・ラグランジアン・リラクゼーション(SLR)に基づく体系的な軽量化最適化手法を開発。 SLRは、同じ精度で最先端技術よりも高い圧縮率を達成する。再学習の予算が限られているため,本手法はモデル精度を迅速に回復する。
論文参考訳（メタデータ） (2020-12-18T07:17:30Z)
SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural Networks [81.64530401885476]
本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
論文参考訳（メタデータ） (2020-10-19T09:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。