論文の概要: Higher-order interactions of multi-layer prompt

• arxiv url: http://arxiv.org/abs/2510.09394v2
• Date: Thu, 16 Oct 2025 15:48:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 14:17:28.079227
• Title: Higher-order interactions of multi-layer prompt
• Title（参考訳）: 多層プロンプトの高次相互作用
• Authors: Ziyu Zheng, Yaming Yang, Ziyu Guan, Wei Zhao, Xinyan Huang, Weigang Lu,
• Abstract要約: 「プレトレイン・プロンプト」パラダイムは表現学習において成功している。 現在のプロンプトチューニング手法は、プロンプトを異なるネットワーク層にまたがる独立した独立したコンポーネントとして扱う。 本稿では,多層プロンプトの高次相互作用を明示的にモデル化する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 22.205298192935313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The "pre-train, prompt" paradigm has successfully evolved in representation learning. While current prompt-tuning methods often introduce learnable prompts, they predominantly treat prompts as isolated, independent components across different network layers. This overlooks the complex and synergistic higher-order interactions that exist between prompts at various hierarchical depths, consequently limiting the expressive power and semantic richness of the prompted model. To address this fundamental gap, we propose a novel framework that explicitly models the Higher-order Interactions of Multi-layer Prompt. Our approach conceptualizes prompts from different layers not as separate entities, but as a cohesive system where their inter-relationships are critical. We design an innovative interaction module that captures these sophisticated, non-linear correlations among multi-layer prompts, effectively modeling their cooperative effects. This allows the model to dynamically aggregate and refine prompt information across the network's depth, leading to a more integrated and powerful prompting strategy. Extensive experiments on eight benchmark datasets demonstrate that our method, by leveraging these higher-order interactions, consistently surpasses state-of-the-art prompt-tuning baselines. The performance advantage is particularly pronounced in few-shot scenarios, validating that capturing the intricate interplay between multi-layer prompts is key to unlocking more robust and generalizable representation learning.
• Abstract（参考訳）: プレトレイン、プロンプト」パラダイムは表現学習においてうまく進化してきた。 現在のプロンプトチューニング手法は学習可能なプロンプトを導入することが多いが、主に異なるネットワーク層にまたがる独立した独立したコンポーネントとしてプロンプトを扱う。 これは、様々な階層的な深さのプロンプトの間に存在する複雑でシナジスティックな高次相互作用を見落とし、結果として、引き起こされるモデルの表現力と意味的なリッチさを制限する。 この基本的なギャップに対処するため、我々は多層プロンプトの高次相互作用を明示的にモデル化する新しいフレームワークを提案する。 本手法は, 異なる層からのプロンプトを個別の実体ではなく, 相互関係が重要となる凝集系として概念化する。 我々は、これらの高度で非線形な関係を多層プロンプト間で捉え、協調効果を効果的にモデル化する革新的な相互作用モジュールを設計する。 これにより、モデルはネットワークの深さをまたいだプロンプト情報を動的に集約し、洗練し、より統合され強力なプロンプト戦略へと導くことができる。 8つのベンチマークデータセットの大規模な実験により、これらの高次相互作用を活用することで、我々の手法が最先端のプロンプトチューニングベースラインを一貫して超越していることが示される。 パフォーマンス上の優位性は特に、多層プロンプト間の複雑な相互作用をキャプチャすることが、より堅牢で一般化可能な表現学習の鍵であることを証明している。

関連論文リスト

• Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision? [62.12375949429938]
  本稿では,事前学習したグラフニューラルネットワークを下流タスクやデータに適用するためのマルチモーダル・プロンプト学習パラダイムを提案する。 我々の新しいパラダイムは、グラフプロンプトとテキストプロンプトの両方を同時に学習することで、Large Language Models(LLM)と直接同じ空間にグラフを埋め込む。 私たちは、GNNを極めて弱いテキスト管理で見えないクラスに一般化できるCLIPスタイルのゼロショット分類プロトタイプを構築した。
  論文  参考訳（メタデータ） (2024-12-11T08:03:35Z)
• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。