論文の概要: Towards LLMs Robustness to Changes in Prompt Format Styles

• arxiv url: http://arxiv.org/abs/2504.06969v1
• Date: Wed, 09 Apr 2025 15:26:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:06:43.008279
• Title: Towards LLMs Robustness to Changes in Prompt Format Styles
• Title（参考訳）: プロンプト形式の変化に対するLCMのロバスト性に向けて
• Authors: Lilian Ngweta, Kiran Kate, Jason Tsay, Yara Rizk,
• Abstract要約: 大規模言語モデル(LLM)は、プロンプトフォーマットの非意味的な変更に敏感である。 プロンプトフォーマットの小さな変更は、大幅なパフォーマンスの変動を引き起こす可能性がある。 本稿では,LLMにおける即時脆性に対処する手法を提案する。
• 参考スコア（独自算出の注目度）: 4.507787613892678
• License:
• Abstract: Large language models (LLMs) have gained popularity in recent years for their utility in various applications. However, they are sensitive to non-semantic changes in prompt formats, where small changes in the prompt format can lead to significant performance fluctuations. In the literature, this problem is commonly referred to as prompt brittleness. Previous research on prompt engineering has focused mainly on developing techniques for identifying the optimal prompt for specific tasks. Some studies have also explored the issue of prompt brittleness and proposed methods to quantify performance variations; however, no simple solution has been found to address this challenge. We propose Mixture of Formats (MOF), a simple and efficient technique for addressing prompt brittleness in LLMs by diversifying the styles used in the prompt few-shot examples. MOF was inspired by computer vision techniques that utilize diverse style datasets to prevent models from associating specific styles with the target variable. Empirical results show that our proposed technique reduces style-induced prompt brittleness in various LLMs while also enhancing overall performance across prompt variations and different datasets.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、近年、様々なアプリケーションでその実用性で人気を博している。 しかしながら、プロンプトフォーマットの非セマンティックな変更には敏感であり、プロンプトフォーマットの小さな変更が大きなパフォーマンス変動を引き起こす可能性がある。 文献では、この問題を急激な脆さと呼ぶのが一般的である。 プロンプトエンジニアリングに関するこれまでの研究は、主に特定のタスクに最適なプロンプトを特定する技術の開発に重点を置いてきた。 いくつかの研究では、迅速な脆性の問題や、性能の変動を定量化する手法も検討されているが、この問題に対処する簡単な解決策は見つかっていない。 そこで本研究では,LLMの高速脆性に対処する手法であるMixture of Formats(MOF)を提案する。 MOFは、様々なスタイルデータセットを使用して、特定のスタイルとターゲット変数を関連付けるのを防ぐコンピュータビジョン技術にインスパイアされた。 実験結果から,提案手法は様々なLLMにおいて,スタイルが引き起こされるプロンプト脆度を低減し,また,プロンプト変動や異なるデータセットの全体的な性能を向上することが示された。

関連論文リスト

• Benchmarking Prompt Sensitivity in Large Language Models [13.986971540998258]
  大規模言語モデル(LLM)は、迅速な定式化のバリエーションに非常に敏感である。 本稿では,LLMの性能に及ぼす短時間の即時変動の影響を調べるために,新しいタスクであるPrompt Sensitivity Predictionとデータセットを提案する。
  論文  参考訳（メタデータ） (2025-02-09T23:01:03Z)
• GReaTer: Gradients over Reasoning Makes Smaller Language Models Strong Prompt Optimizers [52.17222304851524]
  本稿では,タスク固有の推論よりも勾配情報を直接組み込む新しいプロンプト最適化手法であるGReaTerを紹介する。 GReaTerはタスク損失勾配を利用して、オープンソースの軽量言語モデルのためのプロンプトの自己最適化を可能にする。 GReaTerは、従来の最先端のプロンプト最適化手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-12-12T20:59:43Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• Venn Diagram Prompting : Accelerating Comprehension with Scaffolding Effect [0.0]
  本稿ではVenn Diagram (VD) Promptingを紹介した。これはLLM(Large Language Models)が文書間で情報を組み合わせて合成できる革新的なプロンプト技術である。 提案手法は,LLMの固有位置バイアスを除去し,入力情報のシーケンスに対する感度を除去し,回答の一貫性を高めることを目的としている。 4つの公開ベンチマークの問合せデータセットで実施された実験では、VDは連続的に一致したり、巧妙に製作された命令プロンプトのパフォーマンスを上回ります。
  論文  参考訳（メタデータ） (2024-06-08T06:27:26Z)
• Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting [68.19544657508509]
  言語モデル(LLM)は、言語技術の基本コンポーネントとして採用されている。 いくつかの広く使われているオープンソースLLMは、数ショット設定でプロンプトフォーマットの微妙な変更に対して非常に敏感であることがわかった。 本稿では,与えられたタスクに対して有効なプロンプトフォーマットのサンプルセットを迅速に評価するアルゴリズムを提案し,モデル重み付けにアクセスせずに期待性能の間隔を報告する。
  論文  参考訳（メタデータ） (2023-10-17T15:03:30Z)
• Diversity of Thought Improves Reasoning Abilities of LLMs [26.149914503910235]
  大規模言語モデル(LLM)は、複雑な推論を必要とする設定で苦労するために文書化されている。 我々は、思考の多様性の手段として、入力プロンプトのバリエーションを作成し、活用する方法について議論する。
  論文  参考訳（メタデータ） (2023-10-11T00:01:41Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。