論文の概要: Paraphrase Types Elicit Prompt Engineering Capabilities

• arxiv url: http://arxiv.org/abs/2406.19898v3
• Date: Tue, 15 Oct 2024 13:08:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 13:58:30.755472
• Title: Paraphrase Types Elicit Prompt Engineering Capabilities
• Title（参考訳）: パラフレーズタイプのプロンプト工学能力
• Authors: Jan Philip Wahle, Terry Ruas, Yang Xu, Bela Gipp,
• Abstract要約: 本研究は,言語的特徴がパラフレーズ型を通してモデルにどのような影響を及ぼすかを系統的,実証的に評価する。 120のタスクにまたがる5つのモデルと6種類のパラフレーズに対する行動変化を測定した。 この結果から,特定のパラフレーズ型にプロンプトを適用した場合に,言語モデルによるタスク改善の可能性が示唆された。
• 参考スコア（独自算出の注目度）: 9.311064293678154
• License:
• Abstract: Much of the success of modern language models depends on finding a suitable prompt to instruct the model. Until now, it has been largely unknown how variations in the linguistic expression of prompts affect these models. This study systematically and empirically evaluates which linguistic features influence models through paraphrase types, i.e., different linguistic changes at particular positions. We measure behavioral changes for five models across 120 tasks and six families of paraphrases (i.e., morphology, syntax, lexicon, lexico-syntax, discourse, and others). We also control for other prompt engineering factors (e.g., prompt length, lexical diversity, and proximity to training data). Our results show a potential for language models to improve tasks when their prompts are adapted in specific paraphrase types (e.g., 6.7% median gain in Mixtral 8x7B; 5.5% in LLaMA 3 8B). In particular, changes in morphology and lexicon, i.e., the vocabulary used, showed promise in improving prompts. These findings contribute to developing more robust language models capable of handling variability in linguistic expression.
• Abstract（参考訳）: 現代の言語モデルの成功の多くは、モデルを指示する適切なプロンプトを見つけることに依存している。 これまで、プロンプトの言語表現の変化がこれらのモデルにどのように影響するかはほとんど分かっていなかった。 本研究は,言語的特徴がパラフレーズ型,すなわち特定の位置における異なる言語的変化を通してモデルにどのような影響を及ぼすかを系統的および実証的に評価する。 120のタスクにまたがる5つのモデルと6つのパラフレーズ(形態学、構文、語彙、語彙、構文、談話など)に対する行動変化を測定する。 また、他のプロンプトエンジニアリング要因(例えば、プロンプトの長さ、語彙の多様性、トレーニングデータに近い)も制御します。 その結果,特定のパラフレーズ型(Mixtral 8x7Bでは6.7%,LLaMA 3 8Bでは5.5%)にプロンプトを適用した場合,言語モデルがタスクを改善する可能性が示唆された。 特に、形態学と語彙の変化、すなわち語彙はプロンプトの改善に有望であった。 これらの知見は、言語表現の多様性を扱うことのできる、より堅牢な言語モデルの開発に寄与する。

関連論文リスト

• IndicSentEval: How Effectively do Multilingual Transformer Models encode Linguistic Properties for Indic Languages? [14.77467551053299]
  トランスフォーマーベースのモデルは自然言語処理の分野に革命をもたらした。 入力テキストの摂動に直面する言語特性の符号化におけるこれらのモデルはどの程度堅牢か? 本稿では,13の摂動にまたがる8つの言語特性に対して,符号化能力とロバスト性に関する類似の疑問を6つのIndic言語で検討する。
  論文  参考訳（メタデータ） (2024-10-03T15:50:08Z)
• Talking the Talk Does Not Entail Walking the Walk: On the Limits of Large Language Models in Lexical Entailment Recognition [3.8623569699070357]
  本研究では,8つの大言語モデルが動詞間の語彙的含意関係を認識する能力について検討する。 以上の結果から,モデルが適度に良好な性能で語彙的包含認識タスクに対処できることが判明した。
  論文  参考訳（メタデータ） (2024-06-21T06:30:16Z)
• We're Calling an Intervention: Exploring the Fundamental Hurdles in Adapting Language Models to Nonstandard Text [8.956635443376527]
  非標準テキストへの言語モデル適応の根底にある課題を理解するための一連の実験を提示する。 我々は、言語モデルの既存バイアスとの相互作用と、いくつかの種類の言語的変動を近似する介入を設計する。 学習データのサイズや性質の異なる言語モデル適応時の介入を適用することで、知識伝達がいつ成功するかについて重要な洞察を得ることができる。
  論文  参考訳（メタデータ） (2024-04-10T18:56:53Z)
• Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
  サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。 以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-26T18:06:49Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Do Not Fire the Linguist: Grammatical Profiles Help Language Models Detect Semantic Change [6.7485485663645495]
  まず,10個のデータセット上での多言語ニューラル言語モデル(XLM-R)の性能を比較し,その性能を7つの言語で比較した。 この結果から,XLM-Rによる文法プロファイルのアンサンブルにより,ほとんどのデータセットや言語における意味変化検出性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-04-12T11:20:42Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
  言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。 XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。 実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
  論文  参考訳（メタデータ） (2021-02-16T18:47:10Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。