論文の概要: Extensible Prompts for Language Models on Zero-shot Language Style
Customization
- arxiv url: http://arxiv.org/abs/2212.00616v2
- Date: Thu, 30 Nov 2023 20:11:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 19:19:21.616514
- Title: Extensible Prompts for Language Models on Zero-shot Language Style
Customization
- Title(参考訳): ゼロショット言語スタイルカスタマイズにおける言語モデルの拡張性プロンプト
- Authors: Tao Ge, Jing Hu, Li Dong, Shaoguang Mao, Yan Xia, Xun Wang, Si-Qing
Chen, Furu Wei
- Abstract要約: X-Promptは、自然言語(NL)を超えた大きな言語モデル(LLM)を指示する
新しい想像的単語を登録することで、LLMにNL単語で記述するのが難しい概念を理解するよう指示することができる。
これらの虚構語は、様々なプロンプトでNL語のように(再)使用できるように、分布外頑健であるように設計されている。
- 参考スコア(独自算出の注目度): 89.1622516945109
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose eXtensible Prompt (X-Prompt) for prompting a large language model
(LLM) beyond natural language (NL). X-Prompt instructs an LLM with not only NL
but also an extensible vocabulary of imaginary words. Registering new imaginary
words allows us to instruct the LLM to comprehend concepts that are difficult
to describe with NL words, thereby making a prompt more descriptive. Also,
these imaginary words are designed to be out-of-distribution (OOD) robust so
that they can be (re)used like NL words in various prompts, distinguishing
X-Prompt from soft prompt that is for fitting in-distribution data. We propose
context-augmented learning (CAL) to learn imaginary words for general
usability, enabling them to work properly in OOD (unseen) prompts. We
experiment X-Prompt for zero-shot language style customization as a case study.
The promising results of X-Prompt demonstrate its potential to facilitate
advanced interaction beyond the natural language interface, bridging the
communication gap between humans and LLMs.
- Abstract(参考訳): 本稿では,自然言語(nl)を超えた大規模言語モデル(llm)の推進を目的とした拡張性プロンプト(x-prompt)を提案する。
X-Prompt は、NL だけでなく、想像上の単語の拡張可能な語彙で LLM を指示する。
新しい想像上の単語を登録することで、llmにnlの単語で記述するのが難しい概念を理解させるように指示することができる。
また、これらの想像上の単語は、様々なプロンプトでnl単語のように(再)使われるように、分散(ood)が堅牢であるように設計されており、x-promptと、分散データに適合するソフトプロンプトとを区別している。
本稿では,一般ユーザビリティのための仮想単語学習のための文脈拡張学習(CAL)を提案し,OOD(unseen)プロンプトで適切に機能させる。
ゼロショット言語スタイルカスタマイズのためのx-promptをケーススタディとして実験する。
X-Promptの有望な結果は、自然言語インターフェースを超えて高度な対話を促進する可能性を示し、人間とLLM間のコミュニケーションギャップを埋める。
関連論文リスト
- The language of prompting: What linguistic properties make a prompt
successful? [13.034603322224548]
LLMは、多くのNLPタスクにおいて、印象的なゼロショットまたは少数ショットのパフォーマンスを達成するよう促すことができる。
しかし、プロンプトの言語的特性がタスクのパフォーマンスとどのように関連しているかについての体系的な理解はいまだに欠けている。
モーメント,テンション,アスペクト,モダリティなどの文法的性質と,同義語の使用による語彙・意味の変化について検討する。
論文 参考訳(メタデータ) (2023-11-03T15:03:36Z) - Leveraging Word Guessing Games to Assess the Intelligence of Large
Language Models [105.39236338147715]
この論文は人気のある言語ゲーム『Who is Spy』にインスパイアされている。
本研究は,LEMの表現と変形能力を評価するためのDEEPを開発する。
次に、インタラクティブなマルチエージェントフレームワークであるSpyGameを紹介します。
論文 参考訳(メタデータ) (2023-10-31T14:37:42Z) - Establishing Vocabulary Tests as a Benchmark for Evaluating Large
Language Models [2.7013338932521416]
我々は,大言語モデル(LLM)の性能を評価する貴重なツールとして,語彙テストの復活を提唱する。
2つの言語にまたがる2つの語彙テスト形式を用いて7つのLSMを評価し,その語彙的知識の驚くべきギャップを明らかにする。
論文 参考訳(メタデータ) (2023-10-23T08:45:12Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳(メタデータ) (2023-10-10T03:06:38Z) - LLMs4OL: Large Language Models for Ontology Learning [0.0]
大規模言語モデル(LLM)をオントロジー学習(OL)に用いるLLMs4OLアプローチを提案する。
LLMは自然言語処理の大幅な進歩を示し、異なる知識領域における複雑な言語パターンをキャプチャする能力を示している。
評価には、WordNetにおける語彙的知識、GeoNamesにおける地理的知識、UMLSにおける医学知識など、様々なオントロジ的知識のジャンルが含まれる。
論文 参考訳(メタデータ) (2023-07-31T13:27:21Z) - Translate to Disambiguate: Zero-shot Multilingual Word Sense
Disambiguation with Pretrained Language Models [67.19567060894563]
事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。
C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。
モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
論文 参考訳(メタデータ) (2023-04-26T19:55:52Z) - CLOWER: A Pre-trained Language Model with Contrastive Learning over Word
and Character Representations [18.780841483220986]
事前学習型言語モデル(PLM)は、自然言語理解における多くの下流タスクにおいて、顕著なパフォーマンス向上を実現している。
現在のほとんどのモデルは漢字を入力として使用しており、中国語の単語に含まれる意味情報をエンコードすることができない。
本稿では,コントラッシブ・ラーニング・オーバーワード(Contrastive Learning Over Word)とチャラクタ表現(character representations)を採用した,シンプルで効果的なPLM CLOWERを提案する。
論文 参考訳(メタデータ) (2022-08-23T09:52:34Z) - Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified
Multilingual Prompt [98.26682501616024]
我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。
統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。
提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
論文 参考訳(メタデータ) (2022-02-23T11:57:52Z) - Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。
XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。
実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
論文 参考訳(メタデータ) (2021-02-16T18:47:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。