論文の概要: DEPHN: Different Expression Parallel Heterogeneous Network using virtual
gradient optimization for Multi-task Learning
- arxiv url: http://arxiv.org/abs/2307.12519v1
- Date: Mon, 24 Jul 2023 04:29:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 15:42:53.378593
- Title: DEPHN: Different Expression Parallel Heterogeneous Network using virtual
gradient optimization for Multi-task Learning
- Title（参考訳）: dephn:マルチタスク学習のための仮想勾配最適化を用いた表現並列ヘテロジニアスネットワーク
- Authors: Menglin Kong, Ri Su, Shaojie Zhao, Muzhou Hou
- Abstract要約: マルチタスク学習(MTL)に基づく推薦システムアルゴリズムは、インターネットオペレーターがユーザを理解し、その振る舞いを予測する主要な方法である。
従来のモデルでは、共有ボットモデルとゲーティングの専門家を使用して、共有表現学習と情報の差別化を実現している。
本稿では,複数のタスクを同時にモデル化するための異なる表現並列不均一ネットワーク(DEPHN)を提案する。
- 参考スコア（独自算出の注目度）: 1.0705399532413615
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recommendation system algorithm based on multi-task learning (MTL) is the
major method for Internet operators to understand users and predict their
behaviors in the multi-behavior scenario of platform. Task correlation is an
important consideration of MTL goals, traditional models use shared-bottom
models and gating experts to realize shared representation learning and
information differentiation. However, The relationship between real-world tasks
is often more complex than existing methods do not handle properly sharing
information. In this paper, we propose an Different Expression Parallel
Heterogeneous Network (DEPHN) to model multiple tasks simultaneously. DEPHN
constructs the experts at the bottom of the model by using different feature
interaction methods to improve the generalization ability of the shared
information flow. In view of the model's differentiating ability for different
task information flows, DEPHN uses feature explicit mapping and virtual
gradient coefficient for expert gating during the training process, and
adaptively adjusts the learning intensity of the gated unit by considering the
difference of gating values and task correlation. Extensive experiments on
artificial and real-world datasets demonstrate that our proposed method can
capture task correlation in complex situations and achieve better performance
than baseline models\footnote{Accepted in IJCNN2023}.
- Abstract（参考訳）: マルチタスク学習(mtl)に基づくレコメンデーションシステムアルゴリズムは、インターネットオペレーターがユーザを理解し、プラットフォームのマルチタスクシナリオにおける行動を予測するための主要な手法である。
タスク相関はMTL目標の重要な考慮事項であり、従来のモデルは共有ボットモデルを使用し、共有表現学習と情報分化を実現するために専門家をゲーティングする。
しかし、実世界のタスク間の関係は、既存のメソッドが適切に情報を共有しないよりも複雑であることが多い。
本稿では,複数のタスクを同時にモデル化する異なる式並列ヘテロジニアスネットワーク(dephn)を提案する。
DEPHNは、共有情報フローの一般化能力を改善するために、異なる特徴相互作用法を用いてモデルの下部に専門家を構築する。
異なるタスク情報フローに対するモデルの差別化能力の観点から、DEPHNはトレーニングプロセス中に専門家ゲーティングに特徴的明示的マッピングと仮想勾配係数を使用し、ゲーティング値とタスク相関の差を考慮してゲートユニットの学習強度を適応的に調整する。
人工および実世界のデータセットに関する広範囲な実験により,提案手法が複雑な状況下でタスク相関を捉え,ベースラインモデルより優れた性能を実現することを証明した。
関連論文リスト
- Modeling Output-Level Task Relatedness in Multi-Task Learning with Feedback Mechanism [7.479892725446205]
マルチタスク学習(MTL)は、異なるレベルで情報を共有することで複数のタスクを同時に学習するパラダイムである。
異なるタスクが相互に影響のある相関出力を生成する可能性があることを考慮し、後続情報をモデルに導入する。
我々は,MTLモデルにフィードバック機構を組み込むことで,あるタスクの出力が他のタスクの隠れ機能として機能する。
論文 参考訳（メタデータ） (2024-04-01T03:27:34Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Concrete Subspace Learning based Interference Elimination for Multi-task
Model Fusion [86.6191592951269]
一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。
本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
論文 参考訳（メタデータ） (2023-12-11T07:24:54Z) - The Effect of Diversity in Meta-Learning [79.56118674435844]
少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。
近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。
タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
論文 参考訳（メタデータ） (2022-01-27T19:39:07Z) - Modular Networks Prevent Catastrophic Interference in Model-Based
Multi-Task Reinforcement Learning [0.8883733362171032]
モデルベースのマルチタスク強化学習が、共有ポリシネットワークからモデルフリーメソッドが行うのと同様の方法で、共有ダイナミクスモデルから恩恵を受けるかどうかを検討する。
単一ダイナミクスモデルを用いて、タスクの混乱と性能低下の明確な証拠を見出す。
対策として、学習力学モデルの内部構造を個別のサブネットワークにトレーニングすることで、パフォーマンスを著しく向上させる。
論文 参考訳（メタデータ） (2021-11-15T12:31:31Z) - Rethinking Hard-Parameter Sharing in Multi-Task Learning [20.792654758645302]
マルチタスク学習(MTL)におけるハードパラメータ共有により、タスクはモデルのパラメータの一部を共有でき、ストレージコストを低減し、予測精度を向上させることができる。
共通の共有プラクティスは、タスク毎に別々のトップレイヤを使用しながら、タスク間でディープニューラルネットワークのボトムレイヤを共有することだ。
異なるボトム層パラメータを使用することで、一般的なプラクティスよりも大幅にパフォーマンスが向上する可能性がある。
論文 参考訳（メタデータ） (2021-07-23T17:26:40Z) - Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。
タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。
実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2021-06-04T20:15:34Z) - Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。
深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
論文 参考訳（メタデータ） (2020-09-10T19:31:04Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳（メタデータ） (2020-04-28T09:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。