論文の概要: When Prompts Interact: Assessing Prompt Arithmetic for Deconfounding under Distribution Shift

• arxiv url: http://arxiv.org/abs/2605.03096v1
• Date: Mon, 04 May 2026 19:17:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.620731
• Title: When Prompts Interact: Assessing Prompt Arithmetic for Deconfounding under Distribution Shift
• Title（参考訳）: プロンプトが相互作用する時--分布シフト下におけるデコンダンディングのためのプロンプト算術の評価
• Abstract要約: 本研究では,タスク算術によるソフトプロンプトの構成が,コンバウンディングシフトに対するロバスト性を改善するか否かを検討する。 本稿では,タスクプロンプトと線形化共同プロンプトを組み合わせたHybrid Prompt Arithmetic (HyPA)を提案する。 HyPAは、分配シフト中の即時的ベースラインに対して、ロバストネスとパフォーマンスのトレードオフを一貫して改善する。
• 参考スコア（独自算出の注目度）: 9.507710309620766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In classification tasks, models may rely on confounding variables to achieve strong in-distribution performance, capturing spurious features that fail under distribution shift. This shortcut behavior leads to substantial degradation in out-of-distribution settings. Task arithmetic offers a potential solution by removing unwanted signals via subtraction of secondary model updates, but it typically requires full fine-tuning, which is computationally expensive. Prompt tuning provides a parameter-efficient alternative by adapting models through a small set of trainable virtual tokens. Task arithmetic on the resulting prompts presents an appealing alternative to operations on entire models, but the extent to which this approach can limit reliance on spurious features remains to be established. In this work, we study whether composing soft prompts through task arithmetic improves robustness to confounding shifts. We propose Hybrid Prompt Arithmetic (HyPA), which combines task prompts with linearized confounder prompts to counteract spurious correlations. Across multiple benchmarks, HyPA consistently improves the robustness-performance trade-off relative to prompt-arithmetic baselines under distribution shift. We further analyze how HyPA affects hidden representations and find evidence consistent with it mitigating confounding either by reducing the influence of confounder signals on predictions or by suppressing them in the representation. These results establish HyPA as a parameter-efficient and promising approach for improving robustness under confounding shifts in the evaluated setting.
• Abstract（参考訳）: 分類タスクでは、モデルは、分散シフトで失敗する急激な特徴を捕捉し、強力な分配性能を達成するために、共起変数に依存するかもしれない。 このショートカット動作は、アウト・オブ・ディストリビューション・セッティングを著しく低下させる。 タスク演算は二次モデル更新のサブトラクションによって不要な信号を除去することで潜在的な解決策を提供するが、通常は計算コストのかかる完全な微調整を必要とする。 プロンプトチューニングは、トレーニング可能な仮想トークンの小さなセットを通じてモデルを適応することで、パラメータ効率の良い代替手段を提供する。 結果のプロンプト上のタスク算術は、モデル全体の操作に対して魅力的な代替手段を示すが、このアプローチが突発的な特徴への依存を制限することができる範囲は確立されていない。 そこで本研究では,タスク算術によるソフトプロンプトの構成が,コンバウンディングシフトに対するロバスト性を改善するかどうかを考察する。 本稿では,タスクプロンプトと線形化された共同設立プロンプトを組み合わせたHybrid Prompt Arithmetic (HyPA)を提案する。 複数のベンチマークにおいて、HyPAは、分散シフトの下での即時評価ベースラインに対して、ロバストネスとパフォーマンスのトレードオフを一貫して改善する。 さらに,HyPAが隠れ表現にどのように影響するかを解析し,共同創設者の信号が予測に与える影響を減らしたり,表現においてそれらを抑制することによって,共起を緩和する証拠を見出す。 これらの結果から,HyPAをパラメータ効率・有望な手法として評価した。

関連論文リスト

• Toward Trustworthy AI: Multi-Target Adversarial Attacks and Robust Defenses for Continuous Data Summarization [8.957420305238177]
  要約プロセスに対する敵対的な摂動は、上流で信頼できるAIを妥協する可能性がある。 本稿では,DR-サブモジュラー最適化による類似度レベルの摂動下での連続データ要約に対する逆攻撃について検討する。 非負のサブモジュラー集合関数の多重線型拡張として、多重解像度画像要約対象のクラスが定式化可能であることを示す。 次に、類似構造の許容摂動を最適化し、複数のターゲットの要約モデルを分解する、min-max問題としてマルチターゲット攻撃生成を定式化する。
  論文  参考訳（メタデータ） (2026-06-10T08:38:27Z)
• When Valid Signals Fail: Regime Boundaries Between LLM Features and RL Trading Policies [0.30458514384586394]
  大規模言語モデル(LLM)は、強化学習(RL)トレーディングエージェントを改善するための連続的な数値的特徴を生成する。 我々は,凍結したLCMがステートレスな特徴抽出器として機能するモジュールパイプラインを構築し,非構造化日報を下流のPPOエージェントが消費する固定次元ベクトルに変換する。 本研究は,分散シフト下での転帰学習における課題と並行して,特徴レベルの妥当性と政策レベルの堅牢性とのギャップを浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-04-13T04:53:06Z)
• Semantic Trimming and Auxiliary Multi-step Prediction for Generative Recommendation [22.025559532445012]
  両端最適化戦略を利用したSTAMP(Semantic Trimming and Auxiliary Multi-step Prediction)を提案する。 パブリックなAmazonおよび大規模産業データセットの実験では、STAMPは1.23--1.38$times$ speedupと17.2%--54.7%のVRAM削減を達成した。
  論文  参考訳（メタデータ） (2026-04-07T02:00:23Z)
• BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning [82.925106913459]
  強化微調整(Reinforcement Finetuning, RFT)は、大規模言語モデル(LLM)を人間の嗜好と整合させ、推論を強化するための重要な手法である。 RFT強化微調整におけるベイズオンラインタスク選択のための統合フレームワークBOTSを紹介する。
  論文  参考訳（メタデータ） (2025-10-30T11:15:23Z)
• Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
  大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。 LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。 従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
  論文  参考訳（メタデータ） (2025-10-06T16:34:09Z)
• FedReFT: Federated Representation Fine-Tuning with All-But-Me Aggregation [12.544628972135905]
  本稿では,クライアントの隠れ表現を微調整する新しい手法であるFederated Representation Fine-Tuning(FedReFT)を紹介する。 FedReFTは、隠された表現を直接操作するためにスパース介入層を適用し、軽量でセマンティックにリッチな微調整の代替を提供する。 We evaluate FedReFT on commonsense reasoning, arithmetic reasoning, instruction-tuning, and GLUE。
  論文  参考訳（メタデータ） (2025-08-27T22:03:19Z)
• On the Effect of Sampling Diversity in Scaling LLM Inference [57.31028064284527]
  大規模言語モデル(LLM)のスケーリング推論は、パフォーマンス向上の鍵となる。 解の精度と応答の有意な多様性の関係から,スケーリング推論における急激な多様性の効果を体系的に研究した。 また,Best-of-N$選択後の有意義な多様なプロンプトから生成した応答は,定常的なプロンプトから生成した応答よりも有意に低い値を示した。
  論文  参考訳（メタデータ） (2025-02-16T07:37:58Z)
• Auto-Prompt Generation is Not Robust: Prompt Optimization Driven by Pseudo Gradient [50.15090865963094]
  PertBenchは、幅広い入力摂動を含む包括的なベンチマークデータセットである。 我々の分析は、既存の即時生成戦略における重大な脆弱性を明らかにしている。 PGOは、摂動型を擬似次数次信号として活用する、勾配のないプロンプト生成フレームワークである。
  論文  参考訳（メタデータ） (2024-12-24T06:05:08Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。