論文の概要: When Prompts Interact: Assessing Prompt Arithmetic for Deconfounding under Distribution Shift

• arxiv url: http://arxiv.org/abs/2605.03096v1
• Date: Mon, 04 May 2026 19:17:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.620731
• Title: When Prompts Interact: Assessing Prompt Arithmetic for Deconfounding under Distribution Shift
• Title（参考訳）: プロンプトが相互作用する時--分布シフト下におけるデコンダンディングのためのプロンプト算術の評価
• Authors: Zhecheng Sheng, Yongsen Tan, Xiruo Ding, Trevor Cohen, Serguei Pakhomov,
• Abstract要約: 本研究では,タスク算術によるソフトプロンプトの構成が,コンバウンディングシフトに対するロバスト性を改善するか否かを検討する。 本稿では,タスクプロンプトと線形化共同プロンプトを組み合わせたHybrid Prompt Arithmetic (HyPA)を提案する。 HyPAは、分配シフト中の即時的ベースラインに対して、ロバストネスとパフォーマンスのトレードオフを一貫して改善する。
• 参考スコア（独自算出の注目度）: 9.507710309620766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In classification tasks, models may rely on confounding variables to achieve strong in-distribution performance, capturing spurious features that fail under distribution shift. This shortcut behavior leads to substantial degradation in out-of-distribution settings. Task arithmetic offers a potential solution by removing unwanted signals via subtraction of secondary model updates, but it typically requires full fine-tuning, which is computationally expensive. Prompt tuning provides a parameter-efficient alternative by adapting models through a small set of trainable virtual tokens. Task arithmetic on the resulting prompts presents an appealing alternative to operations on entire models, but the extent to which this approach can limit reliance on spurious features remains to be established. In this work, we study whether composing soft prompts through task arithmetic improves robustness to confounding shifts. We propose Hybrid Prompt Arithmetic (HyPA), which combines task prompts with linearized confounder prompts to counteract spurious correlations. Across multiple benchmarks, HyPA consistently improves the robustness-performance trade-off relative to prompt-arithmetic baselines under distribution shift. We further analyze how HyPA affects hidden representations and find evidence consistent with it mitigating confounding either by reducing the influence of confounder signals on predictions or by suppressing them in the representation. These results establish HyPA as a parameter-efficient and promising approach for improving robustness under confounding shifts in the evaluated setting.
• Abstract（参考訳）: 分類タスクでは、モデルは、分散シフトで失敗する急激な特徴を捕捉し、強力な分配性能を達成するために、共起変数に依存するかもしれない。 このショートカット動作は、アウト・オブ・ディストリビューション・セッティングを著しく低下させる。 タスク演算は二次モデル更新のサブトラクションによって不要な信号を除去することで潜在的な解決策を提供するが、通常は計算コストのかかる完全な微調整を必要とする。 プロンプトチューニングは、トレーニング可能な仮想トークンの小さなセットを通じてモデルを適応することで、パラメータ効率の良い代替手段を提供する。 結果のプロンプト上のタスク算術は、モデル全体の操作に対して魅力的な代替手段を示すが、このアプローチが突発的な特徴への依存を制限することができる範囲は確立されていない。 そこで本研究では,タスク算術によるソフトプロンプトの構成が,コンバウンディングシフトに対するロバスト性を改善するかどうかを考察する。 本稿では,タスクプロンプトと線形化された共同設立プロンプトを組み合わせたHybrid Prompt Arithmetic (HyPA)を提案する。 複数のベンチマークにおいて、HyPAは、分散シフトの下での即時評価ベースラインに対して、ロバストネスとパフォーマンスのトレードオフを一貫して改善する。 さらに,HyPAが隠れ表現にどのように影響するかを解析し,共同創設者の信号が予測に与える影響を減らしたり,表現においてそれらを抑制することによって,共起を緩和する証拠を見出す。 これらの結果から,HyPAをパラメータ効率・有望な手法として評価した。

関連論文リスト

• Semantic Trimming and Auxiliary Multi-step Prediction for Generative Recommendation [22.025559532445012]
  両端最適化戦略を利用したSTAMP(Semantic Trimming and Auxiliary Multi-step Prediction)を提案する。 パブリックなAmazonおよび大規模産業データセットの実験では、STAMPは1.23--1.38$times$ speedupと17.2%--54.7%のVRAM削減を達成した。
  論文  参考訳（メタデータ） (2026-04-07T02:00:23Z)
• BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning [82.925106913459]
  強化微調整(Reinforcement Finetuning, RFT)は、大規模言語モデル(LLM)を人間の嗜好と整合させ、推論を強化するための重要な手法である。 RFT強化微調整におけるベイズオンラインタスク選択のための統合フレームワークBOTSを紹介する。
  論文  参考訳（メタデータ） (2025-10-30T11:15:23Z)
• Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
  大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。 LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。 従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
  論文  参考訳（メタデータ） (2025-10-06T16:34:09Z)
• On the Effect of Sampling Diversity in Scaling LLM Inference [57.31028064284527]
  大規模言語モデル(LLM)のスケーリング推論は、パフォーマンス向上の鍵となる。 解の精度と応答の有意な多様性の関係から,スケーリング推論における急激な多様性の効果を体系的に研究した。 また,Best-of-N$選択後の有意義な多様なプロンプトから生成した応答は,定常的なプロンプトから生成した応答よりも有意に低い値を示した。
  論文  参考訳（メタデータ） (2025-02-16T07:37:58Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。