Fugu-MT 論文翻訳(概要): Negative to Positive Co-learning with Aggressive Modality Dropout

論文の概要: Negative to Positive Co-learning with Aggressive Modality Dropout

arxiv url: http://arxiv.org/abs/2501.00865v1
Date: Wed, 01 Jan 2025 15:18:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-05 17:16:30.614040
Title: Negative to Positive Co-learning with Aggressive Modality Dropout
Title（参考訳）: アグレッシブ・モダリティ・ドロップアウトによるポジティブ・コラーニングの否定
Authors: Nicholas Magal, Minh Tran, Riku Arakawa, Suzanne Nie,
Abstract要約: 本稿では,アグレッシブなモダリティ・ドロップアウトを用いて,マルチモーダル・コラーニングを改善する効果的な方法の文書化を目的とする。攻撃的なモダリティ・ドロップアウトを使用することで、ネガティブなコラーニングをポジティブなコラーニングに逆転させることができることがわかった。
参考スコア（独自算出の注目度）: 13.07602124563866
License:
Abstract: This paper aims to document an effective way to improve multimodal co-learning by using aggressive modality dropout. We find that by using aggressive modality dropout we are able to reverse negative co-learning (NCL) to positive co-learning (PCL). Aggressive modality dropout can be used to "prep" a multimodal model for unimodal deployment, and dramatically increases model performance during negative co-learning, where during some experiments we saw a 20% gain in accuracy. We also benchmark our modality dropout technique against PCL to show that our modality drop out technique improves co-learning during PCL, although it does not have as much as an substantial effect as it does during NCL. Github: https://github.com/nmagal/modality_drop_for_colearning
Abstract（参考訳）: 本稿では,アグレッシブなモダリティ・ドロップアウトを用いて,マルチモーダル・コラーニングを改善する効果的な方法の文書化を目的とする。攻撃的なモダリティ・ドロップアウトを用いることで、負のコラーニング(NCL)を正のコラーニング(PCL)に逆転させることができることがわかった。攻撃的なモダリティのドロップアウトは、マルチモーダルモデルの単一デプロイを"準備"するために使用することができ、負のコラーニング中にモデル性能を劇的に向上させることができます。また,PCLに対するモダリティ・ドロップアウト手法をベンチマークした結果,PCLにおけるモダリティ・ドロップアウト手法は,NCLほど大きな効果はないものの,コラーニングが向上することが示された。 Github:https://github.com/nmagal/modality_drop_for_colearning

関連論文リスト

Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
論文参考訳（メタデータ） (2024-06-13T14:41:00Z)
Contrastive Unlearning: A Contrastive Approach to Machine Unlearning [30.38966646250252]
本研究では,表現学習の概念を有効活用する,対照的な非学習フレームワークを提案する。その結果,非学習の非学習効果と効率性は,最先端のアルゴリズムと比較して低い結果が得られた。
論文参考訳（メタデータ） (2024-01-19T02:16:30Z)
Memory-Consistent Neural Networks for Imitation Learning [19.849671682644104]
模倣学習は、代替アプローチに比べてポリシー合成をかなり単純化する。トレーニングサンプルから外れたエラーは、このような模倣ポリシーにとって特に重要だ。合成誤差現象に対応するモデルクラスを設計する。
論文参考訳（メタデータ） (2023-10-09T21:49:48Z)
Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-08T05:44:06Z)
Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
論文参考訳（メタデータ） (2023-04-11T02:12:02Z)
Dropout Reduces Underfitting [85.61466286688385]
本研究は,トレーニング開始時の不適合を軽減できることを示す。ドロップアウトは、ミニバッチ間の勾配の方向性のばらつきを低減し、データセット全体の勾配とミニバッチ勾配の整合を支援する。この結果から,未適合モデルの性能向上のためのソリューションが得られた – 早期のドロップアウト – トレーニングの初期段階でのみドロップアウトが適用され,その後,オフになります。
論文参考訳（メタデータ） (2023-03-02T18:59:15Z)
Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning [92.18524491615548]
対照的な自己指導型学習は、(深層)強化学習(RL)の実践にうまく統合されている我々は,低ランク遷移を伴うマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて,コントラスト学習によってRLをどのように強化できるかを検討する。オンライン環境下では,MDPやMGのオンラインRLアルゴリズムと対照的な損失を生かした,新しい高信頼境界(UCB)型アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-07-29T17:29:08Z)
Consistent Dropout for Policy Gradient Reinforcement Learning [2.7340142673783507]
ドロップアウトは長い間教師あり学習の基礎であったが、強化学習にはほとんど使われていない。連続的な動作環境と離散的な動作環境の両方において、一貫したドロップアウトにより、A2CとPPOによる安定したトレーニングが可能になることを実証する。一貫性のあるドロップアウトは、モデルのネイティブドロップアウトを無効にすることなく、GPTのような複雑なアーキテクチャのオンライントレーニングを可能にすることを示す。
論文参考訳（メタデータ） (2022-02-23T23:00:40Z)
Decoupled Contrastive Learning [23.25775900388382]
我々は,広く使用されているクロスエントロピー(InfoNCE)損失における顕著な負陽性結合(NPC)効果を同定した。 NPC効果を適切に処理することにより、非結合型コントラスト学習(DCL)目標関数に到達する。われわれのアプローチは、200時間以内のバッチサイズ256を使用して6.9%のImageNet top-1精度を実現し、ベースラインのSimCLRを5.1%上回った。
論文参考訳（メタデータ） (2021-10-13T16:38:43Z)
Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文参考訳（メタデータ） (2021-06-06T00:04:49Z)
Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
論文参考訳（メタデータ） (2020-10-11T13:19:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。