論文の概要: Extensible Prompts for Language Models
- arxiv url: http://arxiv.org/abs/2212.00616v1
- Date: Thu, 1 Dec 2022 16:11:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 15:55:33.797417
- Title: Extensible Prompts for Language Models
- Title(参考訳): 言語モデルの拡張可能なプロンプト
- Authors: Tao Ge, Jing Hu, Li Dong, Shaoguang Mao, Yan Xia, Xun Wang, Si-Qing
Chen, Furu Wei
- Abstract要約: 我々は、自然言語(NL)を超えた大規模言語モデル(LLM)を促進するためのX-Promptを提案する。
X-Prompt は、NL だけでなく、NL の言葉がほとんど説明できないものを表す架空の単語の記述語彙も LLM に指示する。
X-Promptの有望な結果は、コミュニケーションギャップを埋めるために人間とLLMの高度な相互作用に近づく可能性を示している。
- 参考スコア(独自算出の注目度): 88.23477748364807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose eXtensible Prompt (X-Prompt) for prompting a large language model
(LLM) beyond natural language (NL). X-Prompt instructs an LLM with not only NL
but also an extensible vocabulary of imaginary words that are introduced to
help represent what NL words hardly describe, allowing a prompt to be more
descriptive. Like NL prompts, X-Prompt is out-of-distribution (OOD) robust, for
which we propose context-guided learning with prompt augmentation to learn its
imaginary words for general usability, enabling them to use in different prompt
contexts for fine-grain specifications. The promising results of X-Prompt
demonstrate its potential of approaching advanced interaction between humans
and LLMs to bridge their communication gap.
- Abstract(参考訳): 本稿では,自然言語(nl)を超えた大規模言語モデル(llm)の推進を目的とした拡張性プロンプト(x-prompt)を提案する。
X-Prompt は、NL だけでなく、NL の言葉がほとんど説明できないものを表現するために導入された想像上の単語の拡張語彙も LLM に指示する。
NLプロンプトと同様に、X-Promptは配布外(OOD)ロバストであり、即時拡張による文脈誘導学習を提案する。
X-Promptの有望な結果は、コミュニケーションギャップを埋めるために人間とLLMの高度な相互作用に近づく可能性を示している。
関連論文リスト
- The language of prompting: What linguistic properties make a prompt
successful? [13.034603322224548]
LLMは、多くのNLPタスクにおいて、印象的なゼロショットまたは少数ショットのパフォーマンスを達成するよう促すことができる。
しかし、プロンプトの言語的特性がタスクのパフォーマンスとどのように関連しているかについての体系的な理解はいまだに欠けている。
モーメント,テンション,アスペクト,モダリティなどの文法的性質と,同義語の使用による語彙・意味の変化について検討する。
論文 参考訳(メタデータ) (2023-11-03T15:03:36Z) - Leveraging Word Guessing Games to Assess the Intelligence of Large
Language Models [105.39236338147715]
この論文は人気のある言語ゲーム『Who is Spy』にインスパイアされている。
本研究は,LEMの表現と変形能力を評価するためのDEEPを開発する。
次に、インタラクティブなマルチエージェントフレームワークであるSpyGameを紹介します。
論文 参考訳(メタデータ) (2023-10-31T14:37:42Z) - Establishing Vocabulary Tests as a Benchmark for Evaluating Large
Language Models [2.7013338932521416]
我々は,大言語モデル(LLM)の性能を評価する貴重なツールとして,語彙テストの復活を提唱する。
2つの言語にまたがる2つの語彙テスト形式を用いて7つのLSMを評価し,その語彙的知識の驚くべきギャップを明らかにする。
論文 参考訳(メタデータ) (2023-10-23T08:45:12Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳(メタデータ) (2023-10-10T03:06:38Z) - LLMs4OL: Large Language Models for Ontology Learning [0.0]
大規模言語モデル(LLM)をオントロジー学習(OL)に用いるLLMs4OLアプローチを提案する。
LLMは自然言語処理の大幅な進歩を示し、異なる知識領域における複雑な言語パターンをキャプチャする能力を示している。
評価には、WordNetにおける語彙的知識、GeoNamesにおける地理的知識、UMLSにおける医学知識など、様々なオントロジ的知識のジャンルが含まれる。
論文 参考訳(メタデータ) (2023-07-31T13:27:21Z) - Translate to Disambiguate: Zero-shot Multilingual Word Sense
Disambiguation with Pretrained Language Models [67.19567060894563]
事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。
C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。
モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
論文 参考訳(メタデータ) (2023-04-26T19:55:52Z) - CLOWER: A Pre-trained Language Model with Contrastive Learning over Word
and Character Representations [18.780841483220986]
事前学習型言語モデル(PLM)は、自然言語理解における多くの下流タスクにおいて、顕著なパフォーマンス向上を実現している。
現在のほとんどのモデルは漢字を入力として使用しており、中国語の単語に含まれる意味情報をエンコードすることができない。
本稿では,コントラッシブ・ラーニング・オーバーワード(Contrastive Learning Over Word)とチャラクタ表現(character representations)を採用した,シンプルで効果的なPLM CLOWERを提案する。
論文 参考訳(メタデータ) (2022-08-23T09:52:34Z) - Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified
Multilingual Prompt [98.26682501616024]
我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。
統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。
提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
論文 参考訳(メタデータ) (2022-02-23T11:57:52Z) - Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。
XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。
実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
論文 参考訳(メタデータ) (2021-02-16T18:47:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。