論文の概要: InLINE: Inner-Layer Information Exchange for Multi-task Learning on Heterogeneous Graphs

• arxiv url: http://arxiv.org/abs/2410.22089v1
• Date: Tue, 29 Oct 2024 14:46:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:41.882658
• Title: InLINE: Inner-Layer Information Exchange for Multi-task Learning on Heterogeneous Graphs
• Title（参考訳）: InLINE:不均一グラフを用いたマルチタスク学習のための内層情報交換
• Authors: Xinyue Feng, Jinquan Hang, Yuequn Zhang, Haotian Wang, Desheng Zhang, Guang Wang,
• Abstract要約: 不均一グラフは、実世界のシナリオで複雑なデータをモデル化するための重要な構造である。 本稿では,各グラフ層内の微細な情報交換を容易にする内層情報交換モデルを提案する。 我々のモデルは、負の転送によって生じる特定のタスクの大幅な性能低下を効果的に軽減する。
• 参考スコア（独自算出の注目度）: 13.204120407041195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Heterogeneous graph is an important structure for modeling complex relational data in real-world scenarios and usually involves various node prediction tasks within a single graph. Training these tasks separately may neglect beneficial information sharing, hence a preferred way is to learn several tasks in a same model by Multi-Task Learning (MTL). However, MTL introduces the issue of negative transfer, where the training of different tasks interferes with each other as they may focus on different information from the data, resulting in suboptimal performance. To solve the issue, existing MTL methods use separate backbones for each task, then selectively exchange beneficial features through interactions among the output embeddings from each layer of different backbones, which we refer to as outer-layer exchange. However, the negative transfer in heterogeneous graphs arises not simply from the varying importance of an individual node feature across tasks, but also from the varying importance of inter-relation between two nodes across tasks. These inter-relations are entangled in the output embedding, making it difficult for existing methods to discriminate beneficial information from the embedding. To address this challenge, we propose the Inner-Layer Information Exchange (InLINE) model that facilitate fine-grained information exchanges within each graph layer rather than through output embeddings. Specifically, InLINE consists of (1) Structure Disentangled Experts for layer-wise structure disentanglement, (2) Structure Disentangled Gates for assigning disentangled information to different tasks. Evaluations on two public datasets and a large industry dataset show that our model effectively alleviates the significant performance drop on specific tasks caused by negative transfer, improving Macro F1 by 6.3% on DBLP dataset and AUC by 3.6% on the industry dataset compared to SoA methods.
• Abstract（参考訳）: 不均一グラフは、実世界のシナリオにおいて複雑な関係データをモデル化するための重要な構造であり、通常、単一のグラフ内の様々なノード予測タスクを含む。 これらのタスクを個別に訓練することは有益な情報共有を無視する可能性があるため、MTL(Multi-Task Learning)によって複数のタスクを同じモデルで学習することが好ましい。 しかし、MTLは、異なるタスクのトレーニングがデータから異なる情報にフォーカスするため、互いに干渉する負の転送の問題を導入し、その結果、準最適性能をもたらす。 この問題を解決するため、既存のMTL法では各タスクごとに異なるバックボーンを使用し、異なるバックボーンの各レイヤからの出力埋め込み間の相互作用を通じて有益な特徴を選択的に交換する。 しかし、不均一グラフにおける負の移動は、タスク間で個々のノードの特徴が様々に重要であることだけでなく、タスク間での2つのノード間の相互関係が様々に重要であることから生じる。 これらの相互関係は出力埋め込みに絡み合っており、既存の手法が埋め込みから有益情報を識別することは困難である。 この課題に対処するために,インナー・レイヤ情報交換(Inner-Layer Information Exchange, InLINE)モデルを提案する。 特に、InLINEは、(1)レイヤワイドな構造整合性のための構造整合性エキスパート、(2)異なるタスクに非整合性情報を割り当てるための構造整合性ゲートで構成されている。 2つのパブリックデータセットと大規模産業データセットの評価から、当社のモデルは負の転送による特定のタスクに対する大幅なパフォーマンス低下を効果的に軽減し、DBLPデータセットではMacro F1が6.3%、業界データセットではAUCが3.6%改善した。

関連論文リスト

• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
  本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。 大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-06-08T15:17:04Z)
• Curriculum Modeling the Dependence among Targets with Multi-task Learning for Financial Marketing [26.80709680959278]
  本稿では,複数順序依存型タスク学習のための事前情報統合モデル(textbfPIMM)を提案する。 PIMは、トレーニング中に下流タスクに転送するソフトサンプリング戦略により、真のラベル情報または先行タスク予測をランダムに選択する。 公開データセットと製品データセットのオフライン実験結果は、PIMMが最先端のベースラインを上回っていることを確認する。
  論文  参考訳（メタデータ） (2023-04-25T07:55:16Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• MGA-VQA: Multi-Granularity Alignment for Visual Question Answering [75.55108621064726]
  視覚的な質問に答えることを学ぶことは、マルチモーダル入力が2つの特徴空間内にあるため、難しい作業である。 視覚質問応答タスク(MGA-VQA)のための多言語アライメントアーキテクチャを提案する。 我々のモデルはアライメントを異なるレベルに分割し、追加のデータやアノテーションを必要とせずにより良い相関関係を学習します。
  論文  参考訳（メタデータ） (2022-01-25T22:30:54Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Multi-Relational Graph based Heterogeneous Multi-Task Learning in Community Question Answering [28.91133131424694]
  我々はHMTGIN(Heterogeneous Multi-Task Graph Isomorphism Network)と呼ばれるマルチリレーショナルグラフに基づくマルチタスク学習モデルを開発する。 各トレーニングフォワードパスでは、HMTGINは入力されたCQAフォーラムグラフをグラフ同型ネットワークの拡張によって埋め込み、接続をスキップする。 評価において、埋め込みは異なるタスク固有の出力層間で共有され、対応する予測を行う。
  論文  参考訳（メタデータ） (2021-09-04T03:19:20Z)
• Understanding and Improving Information Transfer in Multi-Task Learning [14.43111978531182]
  すべてのタスクに対して共有モジュール,各タスクに対して別個の出力モジュールを備えたアーキテクチャについて検討する。 タスクデータ間の不一致が負の転送(または性能の低下)を引き起こし、ポジティブな転送に十分な条件を提供することを示す。 理論的洞察から着想を得た結果,タスクの埋め込みレイヤの整合がマルチタスクトレーニングやトランスファー学習のパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-05-02T23:43:52Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。