論文の概要: PromptPath: Prompt-Adaptive Computational Pathways for In-Context Learning
- arxiv url: http://arxiv.org/abs/2608.02129v1
- Date: Mon, 03 Aug 2026 12:19:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.526268
- Title: PromptPath: Prompt-Adaptive Computational Pathways for In-Context Learning
- Title(参考訳): PromptPath: 文脈学習のためのプロンプト適応型計算経路
- Authors: Hangrui Zhang, Feifei Shao, Yawei Luo, Ping Liu, Jiaxiang Liu, Zuoqi Tang, Zhao Wang, Hongwei Wang, Jun Xiao,
- Abstract要約: 本稿では,適応型ICLフレームワークであるPromptPathを提案する。
PromptPathは、強いクロスドメインとクロスタスクの一般化を示しながら、最先端のICLベースラインを一貫して上回っている。
- 参考スコア(独自算出の注目度): 26.5505128814351
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-context learning (ICL) has attracted increasing attention for enabling models to perform new tasks using only a few ``input--output'' prompt examples. However, existing approaches suffer from \textbf{shallow task adaptation}, where prompts are primarily used as contextual cues to implicitly infer task intent through semantic representations, while the underlying computational process remains unchanged. This limitation restricts task-specific adaptation and compromises inference interpretability. We argue that prompts should not only condition feature representations but also dynamically regulate the model's computation pathways. To this end, we propose \textbf{PromptPath}, an adaptive ICL framework that enables computation-level adaptation through prompt-conditioned dynamic pathways. Specifically, PromptPath introduces a prompt-driven routing mechanism to selectively activate and compose lightweight low-rank experts, forming task-specific computational pathways tailored to different prompts. By integrating prompt information directly into the inference process, PromptPath dynamically reconfigures model computation to enhance task specialization and interpretability. Extensive experiments on 3D point cloud and 2D visual recognition benchmarks demonstrate that PromptPath consistently outperforms state-of-the-art ICL baselines while exhibiting strong cross-domain and cross-task generalization.
- Abstract(参考訳): In-context Learning (ICL) は、いくつかの `input-output'' プロンプト例を使ってモデルが新しいタスクを実行できるようにするために注目を集めている。
しかし、既存のアプローチでは、主に意味表現を通してタスク意図を暗黙的に推測する文脈的手がかりとして、プロンプトが使用されるが、基礎となる計算プロセスは変わっていない。
この制限はタスク固有の適応を制限し、推論の解釈可能性を妥協する。
我々は、プロンプトが特徴表現を条件付けするだけでなく、モデルの計算経路を動的に制御するべきだと主張する。
そこで本研究では,動的経路による計算レベルの適応を可能にする適応型ICLフレームワークであるtextbf{PromptPath}を提案する。
具体的には、PromptPathはプロンプト駆動のルーティング機構を導入し、軽量な低ランクの専門家を選択的に活性化し、構成し、異なるプロンプトに合わせてタスク固有の計算経路を形成する。
推論プロセスに直接プロンプト情報を統合することにより、PromptPathは動的にモデル計算を再構成し、タスクの特殊化と解釈可能性を高める。
3Dポイントクラウドと2D視覚認識ベンチマークの大規模な実験により、PromptPathは、強いクロスドメインとクロスタスクの一般化を示しながら、最先端のICLベースラインを一貫して上回っていることが示された。
関連論文リスト
- GA2-CLIP: Generic Attribute Anchor for Efficient Prompt Tuningin Video-Language Models [34.002791706686345]
視覚的およびテキスト的ソフトプロンプトチューニングは、下流タスクにおける視覚言語モデル(VLM)の適応性を向上させることができる。
既存の手法では、手作りプロンプトとソフトプロンプトのギャップを規則化することで、この効果を緩和しようとする。
本稿では,ビデオタスクにおけるV-Lモデルの性能を最適化するプラグイン・アンド・プレイ・カップリング・プロンプト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-27T05:36:47Z) - Towards Interpretable Soft Prompts [24.304585350085315]
本研究では,2つのデシラタに基づいて,訓練可能なプロンプトの解釈可能性を評価する。
GPT-2を用いた実験は、解釈可能性と訓練可能なプロンプトのタスク性能の基本的なトレードオフを示す。
論文 参考訳(メタデータ) (2025-04-02T21:42:09Z) - Learning Task Representations from In-Context Learning [67.66042137487287]
大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。
ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。
提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
論文 参考訳(メタデータ) (2025-02-08T00:16:44Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳(メタデータ) (2023-07-13T17:59:35Z) - On the Role of Attention in Prompt-tuning [90.97555030446563]
本研究では,一層アテンションアーキテクチャのプロンプトチューニングについて検討し,文脈混合モデルについて検討する。
ソフトマックス・プロンプト・アテンションは, ソフトマックス・自己アテンションやリニア・プロンプト・アテンションよりも明らかに表現力が高いことを示す。
また、実際のデータセットに関する理論的洞察を検証し、モデルが文脈関連情報にどのように対応できるかを示す実験も提供する。
論文 参考訳(メタデータ) (2023-06-06T06:23:38Z) - Dynamic Prompting: A Unified Framework for Prompt Tuning [33.175097465669374]
本稿では、特定のタスクやインスタンスに基づいて、異なるプロンプトの要因を動的に決定する統合動的プロンプト(DP)チューニング戦略を提案する。
実験結果は、幅広いタスクにわたる動的プロンプトチューニングによって達成された顕著なパフォーマンス改善を裏付けるものである。
我々は、全データ、少数ショット、マルチタスクのシナリオの下で、我々のアプローチの普遍的な適用性を確立する。
論文 参考訳(メタデータ) (2023-03-06T06:04:46Z) - Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。
提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。
ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
論文 参考訳(メタデータ) (2022-10-05T17:05:56Z) - ADAPT: Vision-Language Navigation with Modality-Aligned Action Prompts [92.92047324641622]
視覚言語ナビゲーション(VLN)のためのmodAlity-aligneD Action PrompT(ADAPT)を提案する。
ADAPTは、アクションレベルのモダリティアライメントの明示的な学習を可能にするために、アクションプロンプトをVLNエージェントに提供する。
R2RとRxRの両方の実験結果は、最先端手法よりもADAPTの方が優れていることを示している。
論文 参考訳(メタデータ) (2022-05-31T02:41:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。