論文の概要: Factorizing Knowledge in Neural Networks

• arxiv url: http://arxiv.org/abs/2207.03337v1
• Date: Mon, 4 Jul 2022 09:56:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-09 09:00:40.847605
• Title: Factorizing Knowledge in Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるファクタリング知識
• Authors: Xingyi Yang, Jingwen Ye, Xinchao Wang
• Abstract要約: 知識伝達タスクKF(Knowledge Factorization)を提案する。 KFは、それをいくつかの要因ネットワークに分解することを目的としており、それぞれが専用のタスクのみを処理し、ソースネットワークから分解されたタスク固有の知識を維持する。 学習した表現と入力の相互情報を最適化してKFを実行するための情報理論的目的であるInfoMax-Bottleneck(IMB)を導入する。
• 参考スコア（独自算出の注目度）: 65.57381498391202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we explore a novel and ambitious knowledge-transfer task, termed Knowledge Factorization~(KF). The core idea of KF lies in the modularization and assemblability of knowledge: given a pretrained network model as input, KF aims to decompose it into several factor networks, each of which handles only a dedicated task and maintains task-specific knowledge factorized from the source network. Such factor networks are task-wise disentangled and can be directly assembled, without any fine-tuning, to produce the more competent combined-task networks. In other words, the factor networks serve as Lego-brick-like building blocks, allowing us to construct customized networks in a plug-and-play manner. Specifically, each factor network comprises two modules, a common-knowledge module that is task-agnostic and shared by all factor networks, alongside with a task-specific module dedicated to the factor network itself. We introduce an information-theoretic objective, InfoMax-Bottleneck~(IMB), to carry out KF by optimizing the mutual information between the learned representations and input. Experiments across various benchmarks demonstrate that, the derived factor networks yield gratifying performances on not only the dedicated tasks but also disentanglement, while enjoying much better interpretability and modularity. Moreover, the learned common-knowledge representations give rise to impressive results on transfer learning.
• Abstract（参考訳）: 本稿では,知識因子化(KF)と呼ばれる,新規かつ野心的な知識伝達タスクについて検討する。 事前訓練されたネットワークモデルを入力として与えると、KFはそれをいくつかのファクターネットワークに分解することを目的としており、それぞれが専用のタスクのみを処理し、ソースネットワークから分解されたタスク固有の知識を維持する。 このような因子ネットワークはタスクワイドに切り離され、微調整なしで直接組み立てて、より有能な複合タスクネットワークを生成することができる。 言い換えれば、ファクターネットワークはレゴブロックのようなビルディングブロックとして機能し、プラグインとプレイでカスタマイズされたネットワークを構築することができます。 具体的には、各ファクタネットワークは、タスクに依存しない共通知識モジュールと、ファクタネットワーク自体専用のタスク固有モジュールという2つのモジュールで構成されている。 学習表現と入力間の相互情報を最適化してkfを行うための情報理論目標infomax-bottleneck~(imb)を提案する。 様々なベンチマーク実験により、導出要因ネットワークは、専用タスクだけでなく、非絡み合いにも満足できる性能を得ると同時に、より優れた解釈性とモジュラリティを享受できることを示した。 さらに、学習された共通知識表現は、転送学習において印象的な結果をもたらす。

関連論文リスト

• A Unified Causal View of Instruction Tuning [76.1000380429553]
  メタ構造因果モデル(meta-SCM)を開発し、異なるNLPタスクをデータの単一因果構造の下で統合する。 主なアイデアは、タスク要求因果関係を学習し、タスクの予測にのみそれらを使用することである。
  論文  参考訳（メタデータ） (2024-02-09T07:12:56Z)
• Investigating the Impact of Weight Sharing Decisions on Knowledge Transfer in Continual Learning [7.25130576615102]
  連続学習(CL)は、ニューラルネットワークのシーケンシャルトレーニングにおいて、カタストロフィックフォーッティング(CF)を避ける方法として注目されている。 本稿では,タスク間のフォワード・ナレッジ・トランスファー(FKT)に対して,異なる共有決定がどのような影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2023-11-16T02:06:23Z)
• Knowledge Transfer in Deep Reinforcement Learning via an RL-Specific GAN-Based Correspondence Function [0.0]
  本稿では,強化学習に特化したサイクル生成適応型ネットワークを改良する新しいアプローチを紹介する。 本手法は, 同一タスクにおける100%の知識伝達と, 100%の知識伝達, 30%のトレーニング時間短縮を実現する。
  論文  参考訳（メタデータ） (2022-09-14T12:42:59Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Distributed Learning for Time-varying Networks: A Scalable Design [13.657740129012804]
  本稿では,スケーラブルなディープニューラルネットワーク(DNN)設計に基づく分散学習フレームワークを提案する。 学習タスクの置換等価性と不変性を利用することで、異なるスケールのクライアントに対して異なるスケールのDNNを構築することができる。 モデルアグリゲーションはこれらの2つのサブマトリクスに基づいて行うことができ、学習の収束と性能を改善することができる。
  論文  参考訳（メタデータ） (2021-07-31T12:44:28Z)
• Efficient Transfer Learning via Joint Adaptation of Network Architecture and Weight [66.8543732597723]
  近年のニューラルネットワーク探索(NAS)は,十分なネットワーク探索空間を確立することで伝達学習を支援する。 本稿では,2つのモジュールからなる新しいフレームワークを提案する。アーキテクチャトランスファーのためのニューラルアーキテクチャ探索モジュールと,ウェイトトランスファーのためのニューラルウェイト探索モジュールである。 これら2つのモジュールは、減らされたスーパーネットワークに基づいてターゲットタスクを探索するので、ソースタスクのみを訓練する必要がある。
  論文  参考訳（メタデータ） (2021-05-19T08:58:04Z)
• Entangled q-Convolutional Neural Nets [0.0]
  機械学習モデル、q-CNNモデルを導入し、畳み込みニューラルネットワークと主要な機能を共有し、テンソルネットワーク記述を認めます。 例として、MNISTおよびFashion MNIST分類タスクにq-CNNを適用する。 ネットワークが各分類ラベルに量子状態をどのように関連付けるかを説明し、これらのネットワーク状態の絡み合い構造を研究する。
  論文  参考訳（メタデータ） (2021-03-06T02:35:52Z)
• Towards a Universal Continuous Knowledge Base [49.95342223987143]
  複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
  論文  参考訳（メタデータ） (2020-12-25T12:27:44Z)
• Learning credit assignment [2.0711789781518752]
  学習が意思決定を達成するために膨大な数のパラメータをどのように調整するかは分かっていない。 本稿では,サブネットワークのアンサンブルが分類タスクのために訓練されていることを前提として,平均場学習モデルを提案する。 我々のモデルは、決定に至るクレジットの割り当てを学習し、同じタスクを達成できるサブネットワークの集合を予測する。
  論文  参考訳（メタデータ） (2020-01-10T09:06:46Z)
• Automated Relational Meta-learning [95.02216511235191]
  本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。 我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-03T07:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。