論文の概要: InLINE: Inner-Layer Information Exchange for Multi-task Learning on Heterogeneous Graphs

• arxiv url: http://arxiv.org/abs/2410.22089v1
• Date: Tue, 29 Oct 2024 14:46:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:41.882658
• Title: InLINE: Inner-Layer Information Exchange for Multi-task Learning on Heterogeneous Graphs
• Title（参考訳）: InLINE:不均一グラフを用いたマルチタスク学習のための内層情報交換
• Authors: Xinyue Feng, Jinquan Hang, Yuequn Zhang, Haotian Wang, Desheng Zhang, Guang Wang,
• Abstract要約: 不均一グラフは、実世界のシナリオで複雑なデータをモデル化するための重要な構造である。 本稿では,各グラフ層内の微細な情報交換を容易にする内層情報交換モデルを提案する。 我々のモデルは、負の転送によって生じる特定のタスクの大幅な性能低下を効果的に軽減する。
• 参考スコア（独自算出の注目度）: 13.204120407041195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Heterogeneous graph is an important structure for modeling complex relational data in real-world scenarios and usually involves various node prediction tasks within a single graph. Training these tasks separately may neglect beneficial information sharing, hence a preferred way is to learn several tasks in a same model by Multi-Task Learning (MTL). However, MTL introduces the issue of negative transfer, where the training of different tasks interferes with each other as they may focus on different information from the data, resulting in suboptimal performance. To solve the issue, existing MTL methods use separate backbones for each task, then selectively exchange beneficial features through interactions among the output embeddings from each layer of different backbones, which we refer to as outer-layer exchange. However, the negative transfer in heterogeneous graphs arises not simply from the varying importance of an individual node feature across tasks, but also from the varying importance of inter-relation between two nodes across tasks. These inter-relations are entangled in the output embedding, making it difficult for existing methods to discriminate beneficial information from the embedding. To address this challenge, we propose the Inner-Layer Information Exchange (InLINE) model that facilitate fine-grained information exchanges within each graph layer rather than through output embeddings. Specifically, InLINE consists of (1) Structure Disentangled Experts for layer-wise structure disentanglement, (2) Structure Disentangled Gates for assigning disentangled information to different tasks. Evaluations on two public datasets and a large industry dataset show that our model effectively alleviates the significant performance drop on specific tasks caused by negative transfer, improving Macro F1 by 6.3% on DBLP dataset and AUC by 3.6% on the industry dataset compared to SoA methods.
• Abstract（参考訳）: 不均一グラフは、実世界のシナリオにおいて複雑な関係データをモデル化するための重要な構造であり、通常、単一のグラフ内の様々なノード予測タスクを含む。 これらのタスクを個別に訓練することは有益な情報共有を無視する可能性があるため、MTL(Multi-Task Learning)によって複数のタスクを同じモデルで学習することが好ましい。 しかし、MTLは、異なるタスクのトレーニングがデータから異なる情報にフォーカスするため、互いに干渉する負の転送の問題を導入し、その結果、準最適性能をもたらす。 この問題を解決するため、既存のMTL法では各タスクごとに異なるバックボーンを使用し、異なるバックボーンの各レイヤからの出力埋め込み間の相互作用を通じて有益な特徴を選択的に交換する。 しかし、不均一グラフにおける負の移動は、タスク間で個々のノードの特徴が様々に重要であることだけでなく、タスク間での2つのノード間の相互関係が様々に重要であることから生じる。 これらの相互関係は出力埋め込みに絡み合っており、既存の手法が埋め込みから有益情報を識別することは困難である。 この課題に対処するために,インナー・レイヤ情報交換(Inner-Layer Information Exchange, InLINE)モデルを提案する。 特に、InLINEは、(1)レイヤワイドな構造整合性のための構造整合性エキスパート、(2)異なるタスクに非整合性情報を割り当てるための構造整合性ゲートで構成されている。 2つのパブリックデータセットと大規模産業データセットの評価から、当社のモデルは負の転送による特定のタスクに対する大幅なパフォーマンス低下を効果的に軽減し、DBLPデータセットではMacro F1が6.3%、業界データセットではAUCが3.6%改善した。

関連論文リスト

• PLAN-TUNING: Post-Training Language Models to Learn Step-by-Step Planning for Complex Problem Solving [66.42260489147617]
  大規模言語モデルから合成タスク分解を蒸留するフレームワークであるPLAN-TUNINGを紹介する。 複雑な推論を改善するために、教師付きおよび強化学習の目的を通したプランチューン細管モデル。 本分析は,計画軌道が複雑な推論能力をいかに改善するかを示す。
  論文  参考訳（メタデータ） (2025-07-10T07:30:44Z)
• Towards Unified Modeling in Federated Multi-Task Learning via Subspace Decoupling [23.642760378344335]
  Federated Multi-Task Learning (FMTL) は、複数のクライアントがローカルデータを交換することなく異種タスクを実行できる。 既存のFMTLメソッドのほとんどは、各クライアント用にパーソナライズされたモデルを構築することに集中しており、複数の異種タスクの集約を統一モデルにサポートできない。 マルチタスクモデル統合に特化して設計された更新構造対応アグリゲーション手法であるFedDEAを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:53:21Z)
• OWL: Optimized Workforce Learning for General Multi-Agent Assistance in Real-World Task Automation [65.15955645757705]
  専門的な実行から戦略的計画を切り離す階層的なマルチエージェントフレームワークであるWorkforceを紹介します。 推論中、Workforceはワーカーエージェントの追加や修正によって新しいドメインにシームレスに適応する。 トレーニングには、ドメイン間の一般化を改善する最適化されたワークフォース学習(OWL)を導入する。
  論文  参考訳（メタデータ） (2025-05-29T17:51:58Z)
• A representational framework for learning and encoding structurally enriched trajectories in complex agent environments [1.904851064759821]
  人工知能エージェントが最適な決定を行い、それらを異なるドメインやタスクに一般化する能力は、複雑なシナリオで妥協される。 この問題に対処する方法の1つは、世界の効率的な表現を学習することと、エージェントのアクションがそれらにどのように影響するかに焦点を当てている。 本稿では,エージェントのオントロジーを強化し,タスク実行のより微妙なビューを提供するために,トラジェクトリの伝統化を拡張することを提案する。
  論文  参考訳（メタデータ） (2025-03-17T14:04:27Z)
• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• Multi-Task Learning as enabler for General-Purpose AI-native RAN [1.4295558450631414]
  本研究では、汎用AIネイティブ無線アクセスネットワーク(RAN)におけるマルチタスク学習(MTL)アプローチの有効性について検討する。 本研究は, (i) セカンダリキャリア予測, (ii) ユーザ位置予測, (iii) 屋内リンク分類, (iv) 視線リンク分類の4つのタスクに焦点を当てた。 モデルアーキテクチャ,損失と勾配のバランス戦略,分散学習トポロジ,データ空間,タスクグループ化など,MLLの多面的設計面を考慮した現実的なシミュレーションによる性能評価を行った。
  論文  参考訳（メタデータ） (2024-04-05T21:12:25Z)
• Decoupled Subgraph Federated Learning [57.588938805581044]
  複数のクライアントに分散したグラフ構造化データに対するフェデレーション学習の課題に対処する。 我々は、このシナリオのための新しいフレームワーク、FedStructを紹介します。 半教師付きノード分類のための6つのデータセットを用いて実験結果を用いてFedStructの有効性を検証する。
  論文  参考訳（メタデータ） (2024-02-29T13:47:23Z)
• Towards Robust Graph Incremental Learning on Evolving Graphs [23.595295175930335]
  本稿では,新たなタスクによって引き起こされるグラフ構造(構造変化)の進化を考慮に入れた誘導的NGIL問題に着目する。 本稿では, 構造シフト・リスク緩和(SSRM)と呼ばれる新しい正則化手法を提案し, 構造シフトが破滅的忘れに及ぼす影響を緩和する。
  論文  参考訳（メタデータ） (2024-02-20T13:17:37Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
  我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。 具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。 我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
  論文  参考訳（メタデータ） (2023-07-05T11:58:58Z)
• Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
  本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。 大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-06-08T15:17:04Z)
• Curriculum Modeling the Dependence among Targets with Multi-task Learning for Financial Marketing [26.80709680959278]
  本稿では,複数順序依存型タスク学習のための事前情報統合モデル(textbfPIMM)を提案する。 PIMは、トレーニング中に下流タスクに転送するソフトサンプリング戦略により、真のラベル情報または先行タスク予測をランダムに選択する。 公開データセットと製品データセットのオフライン実験結果は、PIMMが最先端のベースラインを上回っていることを確認する。
  論文  参考訳（メタデータ） (2023-04-25T07:55:16Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• MGA-VQA: Multi-Granularity Alignment for Visual Question Answering [75.55108621064726]
  視覚的な質問に答えることを学ぶことは、マルチモーダル入力が2つの特徴空間内にあるため、難しい作業である。 視覚質問応答タスク(MGA-VQA)のための多言語アライメントアーキテクチャを提案する。 我々のモデルはアライメントを異なるレベルに分割し、追加のデータやアノテーションを必要とせずにより良い相関関係を学習します。
  論文  参考訳（メタデータ） (2022-01-25T22:30:54Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Multi-Relational Graph based Heterogeneous Multi-Task Learning in Community Question Answering [28.91133131424694]
  我々はHMTGIN(Heterogeneous Multi-Task Graph Isomorphism Network)と呼ばれるマルチリレーショナルグラフに基づくマルチタスク学習モデルを開発する。 各トレーニングフォワードパスでは、HMTGINは入力されたCQAフォーラムグラフをグラフ同型ネットワークの拡張によって埋め込み、接続をスキップする。 評価において、埋め込みは異なるタスク固有の出力層間で共有され、対応する予測を行う。
  論文  参考訳（メタデータ） (2021-09-04T03:19:20Z)
• CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and Transfer Learning [138.40338621974954]
  CausalWorldは、ロボット操作環境における因果構造と伝達学習のベンチマークである。 タスクは、ブロックのセットから3D形状を構築することで構成される。
  論文  参考訳（メタデータ） (2020-10-08T23:01:13Z)
• Understanding and Improving Information Transfer in Multi-Task Learning [14.43111978531182]
  すべてのタスクに対して共有モジュール,各タスクに対して別個の出力モジュールを備えたアーキテクチャについて検討する。 タスクデータ間の不一致が負の転送(または性能の低下)を引き起こし、ポジティブな転送に十分な条件を提供することを示す。 理論的洞察から着想を得た結果,タスクの埋め込みレイヤの整合がマルチタスクトレーニングやトランスファー学習のパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-05-02T23:43:52Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。