論文の概要: Same Question, Different Words: A Latent Adversarial Framework for Prompt Robustness

• arxiv url: http://arxiv.org/abs/2503.01345v1
• Date: Mon, 03 Mar 2025 09:36:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:37.762309
• Title: Same Question, Different Words: A Latent Adversarial Framework for Prompt Robustness
• Title（参考訳）: 同じ質問, 異なる単語: 突発的ロバストネスのための潜在的敵対的枠組み
• Authors: Tingchen Fu, Fazl Barez,
• Abstract要約: 本稿では,2ループ対向フレームワークであるLatent Adversarial Paraphrasing (LAP)を提案する。 LAPは学習可能な摂動を訓練して「ラテント連続パラフレーズ」として機能させる 複数のLLMアーキテクチャにおけるLAPの有効性を示す実験を行った。
• 参考スコア（独自算出の注目度）: 9.208007322096535
• License:
• Abstract: Insensitivity to semantically-preserving variations of prompts (paraphrases) is crucial for reliable behavior and real-world deployment of large language models. However, language models exhibit significant performance degradation when faced with semantically equivalent but differently phrased prompts, and existing solutions either depend on trial-and-error prompt engineering or require computationally expensive inference-time algorithms. In this study, built on the key insight that worst-case prompts exhibit a drift in embedding space, we present Latent Adversarial Paraphrasing (LAP), a dual-loop adversarial framework: the inner loop trains a learnable perturbation to serve as a "latent continuous paraphrase" while preserving semantics through Lagrangian regulation, and the outer loop optimizes the language model parameters on these perturbations. We conduct extensive experiments to demonstrate the effectiveness of LAP across multiple LLM architectures on the RobustAlpaca benchmark with a 0.5%-4% absolution improvement on worst-case win-rate compared with vanilla supervised fine-tuning.
• Abstract（参考訳）: 意味的に保存されるプロンプト(フレーズ)のバリエーションに対する感受性は、信頼性の高い振る舞いと大規模言語モデルの実際の展開に不可欠である。 しかし、言語モデルは意味論的に等価だが異なる言い回しのプロンプトに直面した場合、顕著な性能劣化を示し、既存のソリューションは試行錯誤プロンプト工学に依存するか、計算に高価な推論時間アルゴリズムを必要とする。 本研究では,最短ケースプロンプトが埋め込み空間のドリフトを示すという重要な知見に基づいて,ラグランジアン規則を通じて意味を保ちながら学習可能な摂動を訓練し,外ループはこれらの摂動の言語モデルパラメータを最適化する,二重ループ逆転フレームワークであるLatent Adversarial Paraphrasing(LAP)を提示する。 我々は,バニラ監督による微調整と比較して,最悪の勝率に対して0.5%-4%の解法改善を施したRobostAlpacaベンチマークにおいて,複数のLLMアーキテクチャにおけるLAPの有効性を示す広範囲な実験を行った。

関連論文リスト

• Latent Lexical Projection in Large Language Models: A Novel Approach to Implicit Representation Refinement [0.0]
  ラテントレキシカル射影 (LLP) は、構造化された空間からラテント空間への変換を通じて、レキシカル表現を洗練するために導入された。 LLPは既存の言語モデルアーキテクチャに最適化されたプロジェクション機構を統合する。 評価は、パープレキシティの低下とBLEUスコアの上昇を示し、予測精度と流布率の改善を示唆している。
  論文  参考訳（メタデータ） (2025-02-03T23:18:53Z)
• Latent Paraphrasing: Perturbation on Layers Improves Knowledge Injection in Language Models [54.385486006684495]
  LaPaelは、初期大規模言語モデル層に入力依存ノイズを適用する潜在レベルパラフレーズ法である。 質問応答ベンチマーク実験により、LaPaelは、標準的な微調整および既存のノイズベースアプローチよりも知識注入を改善することを示した。
  論文  参考訳（メタデータ） (2024-11-01T15:47:05Z)
• Enhancing adversarial robustness in Natural Language Inference using explanations [41.46494686136601]
  自然言語推論(NLI)の未探索課題に注目点を当てた。 我々は、広範囲な実験を通じて、モデルに依存しない防衛戦略として、自然言語説明の使用を検証した。 本研究では,広範に使用されている言語生成指標と人間の知覚との相関について検討し,それらが堅牢なNLIモデルへのプロキシとして機能するようにした。
  論文  参考訳（メタデータ） (2024-09-11T17:09:49Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• Prompt Perturbation Consistency Learning for Robust Language Models [47.021022978847036]
  大規模言語モデル(LLM)は、多くの自然言語処理タスクにおいて印象的なパフォーマンスを示している。 微調整を十分に行うと,識別モデルに匹敵するIC-SF性能が得られることを示す。 クリーンサンプルと摂動サンプルの損失の分散を規則化して機能する,効率的な緩和手法であるPrompt Perturbation Consistency Learning(PPCL)を提案する。
  論文  参考訳（メタデータ） (2024-02-24T15:00:58Z)
• Noisy Exemplars Make Large Language Models More Robust: A Domain-Agnostic Behavioral Analysis [10.06218778776515]
  ドメインに依存しない摂動によるマルチホップ推論タスクにおいて,大規模言語モデル(LLM)の堅牢性をテストするための体系的手法を提案する。 モデルは、単語を同義語に置き換えるなど、特定の摂動に対してより敏感であることがわかった。 また,プロンプトにおける摂動例の割合の増加は,数発のプロンプト手法の堅牢性を向上させることを実証した。
  論文  参考訳（メタデータ） (2023-11-01T03:15:05Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Learning Implicitly with Noisy Data in Linear Arithmetic [94.66549436482306]
  PAC-セマンティックスにおける暗黙学習を拡張し、線形算術の言語における間隔としきい値の不確実性を扱う。 最適線形プログラミング対象制約の学習に対する我々の暗黙的アプローチは、実際的な明示的アプローチよりも著しく優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-23T19:08:46Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。