論文の概要: Say It Another Way: A Framework for User-Grounded Paraphrasing

• arxiv url: http://arxiv.org/abs/2505.03563v1
• Date: Tue, 06 May 2025 14:17:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.421245
• Title: Say It Another Way: A Framework for User-Grounded Paraphrasing
• Title（参考訳）: 別の言い方: ユーザ中心のパラフレーズのためのフレームワーク
• Authors: Cléa Chataigner, Rebecca Ma, Prakhar Ganesh, Afaf Taïk, Elliot Creager, Golnoosh Farnadi,
• Abstract要約: プロンプトがどのように語られるかの小さな変化は、大きな言語モデルの振る舞いに有意義な違いをもたらす可能性がある。 本稿では,最小限の言語変換の分類に基づく制御された言い換えフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.162876771766513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small changes in how a prompt is worded can lead to meaningful differences in the behavior of large language models (LLMs), raising concerns about the stability and reliability of their evaluations. While prior work has explored simple formatting changes, these rarely capture the kinds of natural variation seen in real-world language use. We propose a controlled paraphrasing framework based on a taxonomy of minimal linguistic transformations to systematically generate natural prompt variations. Using the BBQ dataset, we validate our method with both human annotations and automated checks, then use it to study how LLMs respond to paraphrased prompts in stereotype evaluation tasks. Our analysis shows that even subtle prompt modifications can lead to substantial changes in model behavior. These results highlight the need for robust, paraphrase-aware evaluation protocols.
• Abstract（参考訳）: プロンプトがどのように語られるかの小さな変化は、大きな言語モデル(LLM)の振る舞いに有意義な違いをもたらし、その評価の安定性と信頼性に関する懸念を提起する。 以前の研究では単純なフォーマット変更が検討されているが、実際の言語で見られる自然の変化を捉えることは滅多にない。 本稿では,最小限の言語変換の分類に基づく制御された言い換えフレームワークを提案し,自然の急変を系統的に生成する。 BBQデータセットを用いて、人間のアノテーションと自動チェックの両方を用いて手法を検証し、ステレオタイプ評価タスクにおいてLLMがパラフレーズ化されたプロンプトにどのように反応するかを研究する。 我々の分析は、たとえ微妙な迅速な修正であっても、モデル行動にかなりの変化をもたらす可能性があることを示している。 これらの結果は、堅牢でパラフレーズ対応な評価プロトコルの必要性を浮き彫りにしている。

関連論文リスト

• FLUKE: A Linguistically-Driven and Task-Agnostic Framework for Robustness Evaluation [21.850854237079595]
  FLUKEは、システムの最小限のテストデータを通じてモデルロバスト性を評価するためのタスクに依存しないフレームワークである。 FLUKEの実用性は、4つの異なるNLPタスクにまたがる細調整モデルと大規模言語モデル(LLM)の両方を評価することで実証する。
  論文  参考訳（メタデータ） (2025-04-24T07:12:37Z)
• What's the Difference? Supporting Users in Identifying the Effects of Prompt and Model Changes Through Token Patterns [23.505782809734512]
  Spotlightは、自動化と人間の分析を組み合わせた新しいアプローチだ。 データマイニング技術に基づいて、ランダムな(復号化)バリエーションと言語モデル出力の体系的な違いを自動的に区別する。 トークンパターンのアプローチは,言語モデル出力の体系的差異を理解する上で有効であることを示す。
  論文  参考訳（メタデータ） (2025-04-22T11:53:33Z)
• You've Changed: Detecting Modification of Black-Box Large Language Models [4.7541096609711]
  大規模言語モデル(LLM)はAPIを通じてサービスとして提供されることが多いため、開発者は振る舞いの変化を検出することが難しい。 生成したテキストの言語的特徴と心理言語学的特徴の分布を比較することで,変化に対するLLMの監視手法を提案する。
  論文  参考訳（メタデータ） (2025-04-14T04:16:43Z)
• Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting [68.19544657508509]
  言語モデル(LLM)は、言語技術の基本コンポーネントとして採用されている。 いくつかの広く使われているオープンソースLLMは、数ショット設定でプロンプトフォーマットの微妙な変更に対して非常に敏感であることがわかった。 本稿では,与えられたタスクに対して有効なプロンプトフォーマットのサンプルセットを迅速に評価するアルゴリズムを提案し,モデル重み付けにアクセスせずに期待性能の間隔を報告する。
  論文  参考訳（メタデータ） (2023-10-17T15:03:30Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。