論文の概要: Prompt-Robust Language Models: Which Training Strategies Work?

• arxiv url: http://arxiv.org/abs/2609.01217v1
• Date: Tue, 01 Sep 2026 13:21:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.681966
• Title: Prompt-Robust Language Models: Which Training Strategies Work?
• Title（参考訳）: Prompt-Robust言語モデル: どのトレーニング戦略が機能するのか?
• Authors: Frederic Sadrieh, Michal Štefánik,
• Abstract要約: 現在の頑健さの微調整法は、標準的な微調整やテキスト内学習よりも改善されているが、最良な迅速なギャップは、性能の40～57%に留まっている。 さらに、私たちがテストしている最近のロバスト性向上手法 - コントラストアライメントのためのCoINと整合性正規化のためのPPCL - は、多くの場合、最も単純なデータ構築戦略を上回りません。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their strong performance, large language models remain highly sensitive to prompt formulation. Prior work addresses this through refined data construction or through dedicated robustness objectives. We reproduce and compare these strategies under controlled conditions, and measure how effective they are in addressing models' prompt sensitivity. We find the current robustness fine-tuning methods improve over standard fine-tuning and in-context learning, but the best-to-worst prompt gap remains as high as 40-57% of performance. Moreover, the recent robustness-enhancing methods we test - CoIN for contrastive alignment and PPCL for consistency regularization - often fail to outperform the simplest data construction strategy: training on one template per batch. Our diagnostics explain these results. The auxiliary objectives move the quantity they penalize, but do not generalize beyond it. Additionally, data construction strategies differ due to the conflicting signs of per-template gradients on 57-64% of parameters. Thus, batches that mix formulations force the optimizer to reconcile competing updates instead of finding a shared, prompt-agnostic one.
• Abstract（参考訳）: 高い性能にもかかわらず、大きな言語モデルは、迅速な定式化に非常に敏感である。 以前の作業では、精巧なデータ構築や、専用の堅牢性目標を通じて、この問題に対処しています。 制御条件下でこれらの戦略を再現し、比較し、モデルの迅速な感度にどの程度効果的かを測定する。 現在の頑健さの微調整法は、標準的な微調整やテキスト内学習よりも改善されているが、最良な迅速なギャップは、性能の40～57%に留まっている。 さらに、私たちがテストしている最近の堅牢性向上手法 - コントラストアライメントのためのCoINと、一貫性の規則化のためのPPCL - は、最も単純なデータ構築戦略であるバッチ毎の1つのテンプレートでのトレーニングよりも優れていることがよくあります。 診断はこれらの結果を説明する。 補助的な目的は、それらがペナルティ化する量を動かすが、それを超えて一般化しない。 さらに、データ構築戦略は57-64%のパラメータに対して、テンポレート毎の勾配が矛盾する兆候があるため、異なる。 したがって、定式化を混合するバッチは、オプティマイザに、共有のプロンプトに依存しない更新を見つける代わりに、競合する更新を調整させる。

関連論文リスト

• CORE: Contrastive Reflection Enables Rapid Improvements in Reasoning [30.16426867103063]
  コントラスト反射(Contrastive Reflection、CORE)は、過去の推論トレースを比較して洞察を生成する非パラメトリック学習アルゴリズムである。 その結果, CORE はパラメトリック (GRPO) 法と非パラメトリック (GEPA, エピソードRAG, MemRL) 法の両方よりも高速に改善でき, ロールアウトも少ないことがわかった。
  論文  参考訳（メタデータ） (2026-05-27T17:01:50Z)
• LIBERO-Para: A Diagnostic Benchmark and Metrics for Paraphrase Robustness in VLA Models [15.955490895662384]
  本稿では,言語一般化の詳細な解析のためのベンチマークであるLIBERO-Paraを紹介する。 パラフレージングにより22-52ppの連続的な性能劣化が観察された。 本稿では,意味的因子と構文的因子を用いてパラフレーズの難易度を定量化する指標PRIDEを提案する。
  論文  参考訳（メタデータ） (2026-03-30T11:27:34Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Robust LLM-based Column Type Annotation via Prompt Augmentation with LoRA Tuning [0.749377967268953]
  カラムタイプ。 CTAはスキーマアライメントとセマンティック理解を実現するための基本的なステップです。 既存のエンコーダのみの言語モデルでは,ラベル付き列を微調整すると高い精度が得られる。 本稿では,CTAのパラメータ効率向上のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-28T02:04:17Z)
• When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs [55.20230501807337]
  本報告では, 統一実験フレームワーク内での迅速なロバスト性向上のための5つの手法の体系的評価を行う。 Llama、Qwen、Gemmaファミリーの8つのモデルに対して、Natural Instructionsデータセットから52のタスクをベンチマークする。
  論文  参考訳（メタデータ） (2025-08-15T10:32:50Z)
• Enhancing Spatial Reasoning in Vision-Language Models via Chain-of-Thought Prompting and Reinforcement Learning [0.42855555838080844]
  本研究では,視覚言語モデル(VLM)の空間的推論能力について,Chain-of-Thoughtプロンプトと強化学習を通して検討した。 モデルが解答の前に推論ステップを生成する単純なCoT形式は、モデルの本来の性能を損なう可能性がある。 対照的に、シーングラフ(SceneGraph CoT)に基づく構造化マルチステージプロンプトは空間推論の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-07-06T10:51:12Z)
• Think Beyond Size: Adaptive Prompting for More Effective Reasoning [0.0]
  本稿では,動的かつ反復的なフレームワークであるAdaptive Promptingを紹介する。 その結果、Adaptive Promptingは、算術的推論(GSM8K、MultiArithm)、論理的推論、コモンセンスタスクなど、様々な推論ベンチマークのパフォーマンスを著しく向上させることを示した。 提案手法は,計算効率を維持しつつ,GPT-4などの大規模モデルと競合する性能を実現する。
  論文  参考訳（メタデータ） (2024-10-10T17:14:36Z)
• Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment [57.03947082589616]
  大規模言語モデル(LLM)は、しばしばコントラスト的なアライメント目標と選好ペアデータセットを使用してアライメントされる。 これについて検討し、基礎となる応答が対照的な場合、嗜好データがより良い学習信号を与えることを示した。 我々は、よりコントラスト的な選好ペアを生み出すデータ生成手法である、AI Revisions (CLAIR) からのコントラスト学習を紹介する。 我々の最良のモデルは、APOで32K CLAIRの選好に基づいて訓練され、Llama-3-8B-Instructを7.65%改善し、GPT4-turboとのギャップを45%短縮しました。
  論文  参考訳（メタデータ） (2024-08-12T16:24:51Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。