論文の概要: DeepMI: A Mutual Information Based Framework For Unsupervised Deep Learning of Tasks

• arxiv url: http://arxiv.org/abs/2101.06411v1
• Date: Sat, 16 Jan 2021 09:09:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 04:28:54.024888
• Title: DeepMI: A Mutual Information Based Framework For Unsupervised Deep Learning of Tasks
• Title（参考訳）: DeepMI: タスクの教師なしディープラーニングのための相互情報ベースのフレームワーク
• Authors: Ashish Kumar, Laxmidhar Behera
• Abstract要約: We propose a information theory based framework DeepMI to training Deep Neural Network (DNN) using Mutual Information (MI)。 この研究の主な動機は、教師なしのタスク学習における伝統的な損失関数の欠如である。
• 参考スコア（独自算出の注目度）: 21.513863993646194
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this work, we propose an information theory based framework DeepMI to train deep neural networks (DNN) using Mutual Information (MI). The DeepMI framework is especially targeted but not limited to the learning of real world tasks in an unsupervised manner. The primary motivation behind this work is the insufficiency of traditional loss functions for unsupervised task learning. Moreover, directly using MI for the training purpose is quite challenging to deal because of its unbounded above nature. Hence, we develop an alternative linearized representation of MI as a part of the framework. Contributions of this paper are three fold: i) investigation of MI to train deep neural networks, ii) novel loss function LLMI, and iii) a fuzzy logic based end-to-end differentiable pipeline to integrate DeepMI into deep learning framework. We choose a few unsupervised learning tasks for our experimental study. We demonstrate that L LM I alone provides better gradients to achieve a neural network better performance over the cases when multiple loss functions are used for a given task.
• Abstract（参考訳）: 本研究では,深層ニューラルネットワーク(DNN)を相互情報(MI)を用いて学習するための情報理論に基づくフレームワークであるDeepMIを提案する。 DeepMIフレームワークは特にターゲットであるが、教師なしの方法で現実世界のタスクの学習に限らない。 この研究の主な動機は、教師なしタスク学習における伝統的な損失関数の不足である。 さらに,MIをトレーニング目的に直接使用する場合,その非有界な性質のため,対処が極めて困難である。 そこで、我々はフレームワークの一部としてMIの代替線形化表現を開発する。 本論文のコントリビューションは3つある:i) MI to Training Deep Neural Network, ii) novel loss function LLMI, iii) Fuzzy logic based end-to-end differentiable pipeline to integrate DeepMI into Deep Learning framework。 我々は実験研究のために教師なしの学習タスクをいくつか選択する。 我々は、l lm i が与えられたタスクに複数の損失関数を使用する場合よりも、ニューラルネットワークの性能を向上させるためのより良い勾配を提供することを実証する。

関連論文リスト

• SGW-based Multi-Task Learning in Vision Tasks [8.459976488960269]
  データセットの規模が拡大し、タスクの複雑さが増すにつれ、知識の共有はますます困難になってきている。 情報ボトルネック知識抽出モジュール(KEM)を提案する。 このモジュールは,情報の流れを制約することでタスク間干渉を減らすことを目的としており,計算複雑性を低減する。
  論文  参考訳（メタデータ） (2024-10-03T13:56:50Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
  本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。 本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。 提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:04Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Interplay between depth of neural networks and locality of target functions [5.33024001730262]
  対象関数の深度と局所性の間に顕著な相互作用を報告した。 深度は局所関数の学習には有益であるが,グローバル関数の学習には有害であることがわかった。
  論文  参考訳（メタデータ） (2022-01-28T12:41:24Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• LSM: Learning Subspace Minimization for Low-level Vision [78.27774638569218]
  我々は、正規化項を学習可能な部分空間制約に置き換え、データ項をドメイン知識を活用するために保存する。 この学習サブスペース最小化(LSM)フレームワークは、多くの低レベル視覚タスクのネットワーク構造とパラメータを統一する。 インタラクティブな画像セグメンテーション、ビデオセグメンテーション、ステレオマッチング、オプティカルフローを含む4つの低レベルタスクについてLSMフレームワークを実証し、様々なデータセット上でネットワークを検証した。
  論文  参考訳（メタデータ） (2020-04-20T10:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。