論文の概要: Differentiable Weight Masks for Domain Transfer

• arxiv url: http://arxiv.org/abs/2308.13957v1
• Date: Sat, 26 Aug 2023 20:45:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 17:56:50.463827
• Title: Differentiable Weight Masks for Domain Transfer
• Title（参考訳）: ドメイン転送のための微分可能重量マスク
• Authors: Samar Khanna, Skanda Vaidyanath, Akash Velu
• Abstract要約: コンピュータビジョンにおけるディープラーニングモデルの大きな欠点の1つは、モジュラー方式で複数の情報ソースを保持することができないことである。 本研究では,これら3つの重みマスキング手法について検討し,その課題に対する「鍛造」を緩和する能力について検討した。 異なるマスキング手法は、目標タスクのパフォーマンスに悪影響を及ぼすことなく、ソースタスクの知識を維持するためにトレードオフがあることが判明した。
• 参考スコア（独自算出の注目度）: 2.008400316189417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the major drawbacks of deep learning models for computer vision has been their inability to retain multiple sources of information in a modular fashion. For instance, given a network that has been trained on a source task, we would like to re-train this network on a similar, yet different, target task while maintaining its performance on the source task. Simultaneously, researchers have extensively studied modularization of network weights to localize and identify the set of weights culpable for eliciting the observed performance on a given task. One set of works studies the modularization induced in the weights of a neural network by learning and analysing weight masks. In this work, we combine these fields to study three such weight masking methods and analyse their ability to mitigate "forgetting'' on the source task while also allowing for efficient finetuning on the target task. We find that different masking techniques have trade-offs in retaining knowledge in the source task without adversely affecting target task performance.
• Abstract（参考訳）: コンピュータビジョンにおけるディープラーニングモデルの大きな欠点の1つは、複数の情報ソースをモジュラー形式で保持できないことだ。 例えば、ソースタスクでトレーニングされたネットワークを考えると、同じ、しかし異なるターゲットタスクで、ソースタスクのパフォーマンスを維持しながら、このネットワークを再トレーニングしたいと考えています。 同時に、研究者はネットワーク重みのモジュラー化を広く研究し、与えられたタスクで観測された性能を引き出すのに必要な重みの集合をローカライズし特定した。 ある一連の研究は、重みマスクを学習し分析することで、ニューラルネットワークの重みによって引き起こされるモジュラー化を研究する。 本研究では,これらのフィールドを組み合わせて,これら3つの重みマスキング手法について検討し,対象タスクの「鍛造」を軽減し,目標タスクの効率的な微調整を可能にする。 異なるマスキング手法は、目標タスクのパフォーマンスに悪影響を及ぼすことなく、ソースタスクの知識を維持するためにトレードオフがある。

関連論文リスト

• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Self-Supervised Visual Representation Learning Using Lightweight Architectures [0.0]
  自己教師付き学習では、マシンによってアノテーションが生成されるデータセットを使用して、プレテキストタスクを解決するためにモデルが訓練される。 我々は、画像データから特徴を抽出する最も顕著な前文タスクを批判的に検討する。 我々は、他の全てのパラメータを均一に保ちながら、様々な自己監督技術の性能について研究する。
  論文  参考訳（メタデータ） (2021-10-21T14:13:10Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• Deep Learning for Automatic Quality Grading of Mangoes: Methods and Insights [1.0742675209112622]
  本論文は,コンピュータビジョンの深層学習技術である様々な畳み込みニューラルネットワーク(CNN)を用いて,グレーディングタスクにアプローチする。 Mask R-CNN(バックグラウンド削除用)、ImageNetチャレンジの過去の多くの勝者、すなわちAlexNet、VGGs、ResNetsが含まれる。 この論文は、サリエンシマップと主成分分析(PCA)の助けを借りて、モデルの動作に関する説明可能な洞察を提供する。
  論文  参考訳（メタデータ） (2020-11-23T13:09:47Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• Learning Context-aware Task Reasoning for Efficient Meta-reinforcement Learning [29.125234093368732]
  本稿では,新しいタスクの学習において,人間レベルの効率を実現するためのメタRL戦略を提案する。 本稿では,メタRL問題をタスク探索,タスク推論,タスク充足という3つのサブタスクに分解する。 提案アルゴリズムは,タスク推論の探索を効果的に行い,トレーニングとテストの双方においてサンプル効率を向上し,メタオーバーフィッティング問題を緩和する。
  論文  参考訳（メタデータ） (2020-03-03T07:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。