論文の概要: Towards LLMs Robustness to Changes in Prompt Format Styles

• arxiv url: http://arxiv.org/abs/2504.06969v1
• Date: Wed, 09 Apr 2025 15:26:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 16:37:29.297498
• Title: Towards LLMs Robustness to Changes in Prompt Format Styles
• Title（参考訳）: プロンプト形式の変化に対するLCMのロバスト性に向けて
• Authors: Lilian Ngweta, Kiran Kate, Jason Tsay, Yara Rizk,
• Abstract要約: 大規模言語モデル(LLM)は、プロンプトフォーマットの非意味的な変更に敏感である。 プロンプトフォーマットの小さな変更は、大幅なパフォーマンスの変動を引き起こす可能性がある。 本稿では,LLMにおける即時脆性に対処する手法を提案する。
• 参考スコア（独自算出の注目度）: 4.507787613892678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have gained popularity in recent years for their utility in various applications. However, they are sensitive to non-semantic changes in prompt formats, where small changes in the prompt format can lead to significant performance fluctuations. In the literature, this problem is commonly referred to as prompt brittleness. Previous research on prompt engineering has focused mainly on developing techniques for identifying the optimal prompt for specific tasks. Some studies have also explored the issue of prompt brittleness and proposed methods to quantify performance variations; however, no simple solution has been found to address this challenge. We propose Mixture of Formats (MOF), a simple and efficient technique for addressing prompt brittleness in LLMs by diversifying the styles used in the prompt few-shot examples. MOF was inspired by computer vision techniques that utilize diverse style datasets to prevent models from associating specific styles with the target variable. Empirical results show that our proposed technique reduces style-induced prompt brittleness in various LLMs while also enhancing overall performance across prompt variations and different datasets.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、近年、様々なアプリケーションでその実用性で人気を博している。 しかしながら、プロンプトフォーマットの非セマンティックな変更には敏感であり、プロンプトフォーマットの小さな変更が大きなパフォーマンス変動を引き起こす可能性がある。 文献では、この問題を急激な脆さと呼ぶのが一般的である。 プロンプトエンジニアリングに関するこれまでの研究は、主に特定のタスクに最適なプロンプトを特定する技術の開発に重点を置いてきた。 いくつかの研究では、迅速な脆性の問題や、性能の変動を定量化する手法も検討されているが、この問題に対処する簡単な解決策は見つかっていない。 そこで本研究では,LLMの高速脆性に対処する手法であるMixture of Formats(MOF)を提案する。 MOFは、様々なスタイルデータセットを使用して、特定のスタイルとターゲット変数を関連付けるのを防ぐコンピュータビジョン技術にインスパイアされた。 実験結果から,提案手法は様々なLLMにおいて,スタイルが引き起こされるプロンプト脆度を低減し,また,プロンプト変動や異なるデータセットの全体的な性能を向上することが示された。

関連論文リスト

• ProAPO: Progressively Automatic Prompt Optimization for Visual Classification [5.4945777628593016]
  視覚言語モデル(VLM)は、大規模なペア画像テキストデータを用いた訓練により、画像分類に大きな進歩をもたらした。 近年の手法では,大型言語モデル(LLM)が生成する視覚的記述がVLMの一般化を促進することが示されているが,クラス固有のプロンプトはLLMの幻覚によって不正確あるいは識別に欠ける可能性がある。 本稿では,最小限の監督を要さず,かつループを含まない細粒度カテゴリに対して,視覚的に識別可能なプロンプトを見つけることを目的とする。
  論文  参考訳（メタデータ） (2025-02-27T07:39:23Z)
• Benchmarking Prompt Sensitivity in Large Language Models [13.986971540998258]
  大規模言語モデル(LLM)は、迅速な定式化のバリエーションに非常に敏感である。 本稿では,LLMの性能に及ぼす短時間の即時変動の影響を調べるために,新しいタスクであるPrompt Sensitivity Predictionとデータセットを提案する。
  論文  参考訳（メタデータ） (2025-02-09T23:01:03Z)
• GReaTer: Gradients over Reasoning Makes Smaller Language Models Strong Prompt Optimizers [52.17222304851524]
  本稿では,タスク固有の推論よりも勾配情報を直接組み込む新しいプロンプト最適化手法であるGReaTerを紹介する。 GReaTerはタスク損失勾配を利用して、オープンソースの軽量言語モデルのためのプロンプトの自己最適化を可能にする。 GReaTerは、従来の最先端のプロンプト最適化手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-12-12T20:59:43Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.82812214830023]
  効率的なプロンプティング手法は幅広い注目を集めている。 本稿では,異なるプロンプト成分に対する自動プロンプトエンジニアリングと連続空間および離散空間におけるプロンプト圧縮について論じる。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting [68.19544657508509]
  言語モデル(LLM)は、言語技術の基本コンポーネントとして採用されている。 いくつかの広く使われているオープンソースLLMは、数ショット設定でプロンプトフォーマットの微妙な変更に対して非常に敏感であることがわかった。 本稿では,与えられたタスクに対して有効なプロンプトフォーマットのサンプルセットを迅速に評価するアルゴリズムを提案し,モデル重み付けにアクセスせずに期待性能の間隔を報告する。
  論文  参考訳（メタデータ） (2023-10-17T15:03:30Z)
• Diversity of Thought Improves Reasoning Abilities of LLMs [26.149914503910235]
  大規模言語モデル(LLM)は、複雑な推論を必要とする設定で苦労するために文書化されている。 我々は、思考の多様性の手段として、入力プロンプトのバリエーションを作成し、活用する方法について議論する。
  論文  参考訳（メタデータ） (2023-10-11T00:01:41Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。