論文の概要: Can discrete information extraction prompts generalize across language models?

• arxiv url: http://arxiv.org/abs/2302.09865v1
• Date: Mon, 20 Feb 2023 09:56:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 16:01:27.613273
• Title: Can discrete information extraction prompts generalize across language models?
• Title（参考訳）: 離散情報抽出プロンプトは言語モデルにまたがって一般化できるか?
• Authors: Nathana\"el Carraz Rakotonirina, Roberto Dess\`i, Fabio Petroni, Sebastian Riedel, Marco Baroni
• Abstract要約: 自動誘導型プロンプトをアウト・オブ・ザ・ボックス(out-of-the-box)として使用して,他の言語モデルに対して同じ情報を求めることができるかを検討する。 学習時に言語モデルを混合することでプロンプトを誘導する手法を導入し、モデル間でよく一般化するプロンプトを導出する。
• 参考スコア（独自算出の注目度）: 36.85568212975316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study whether automatically-induced prompts that effectively extract information from a language model can also be used, out-of-the-box, to probe other language models for the same information. After confirming that discrete prompts induced with the AutoPrompt algorithm outperform manual and semi-manual prompts on the slot-filling task, we demonstrate a drop in performance for AutoPrompt prompts learned on a model and tested on another. We introduce a way to induce prompts by mixing language models at training time that results in prompts that generalize well across models. We conduct an extensive analysis of the induced prompts, finding that the more general prompts include a larger proportion of existing English words and have a less order-dependent and more uniform distribution of information across their component tokens. Our work provides preliminary evidence that it's possible to generate discrete prompts that can be induced once and used with a number of different models, and gives insights on the properties characterizing such prompts.
• Abstract（参考訳）: 言語モデルから情報を効果的に抽出する自動的なプロンプトが、同じ情報に対して他の言語モデルを調べるのに使えるかどうかについても検討する。 AutoPromptアルゴリズムによって誘導される離散的なプロンプトが、スロット充足タスクにおいて手動および半手動のプロンプトより優れていることを確認した後、モデル上で学習したAutoPromptプロンプトの性能低下を実証し、別のモデルでテストした。 学習時間に言語モデルを混合することでプロンプトを誘発する手法を導入し,モデル間をうまく一般化するプロンプトを生成する。 誘導プロンプトの広範な解析を行い、より一般的なプロンプトは、既存の英語単語の比率を大きく含み、より順序に依存しない、より均一な情報分布を有することを発見した。 我々の研究は、複数の異なるモデルで一度誘発され、使用できる離散的なプロンプトを生成できるという予備的な証拠を提供し、そのようなプロンプトを特徴付ける特性についての洞察を与えます。

関連論文リスト

• OLaLa: Ontology Matching with Large Language Models [2.211868306499727]
  オントロジーマッチング(Ontology Matching)は、自然言語の情報が処理すべき最も重要な信号の1つである、困難なタスクである。 大規模言語モデルの台頭により、この知識をマッチングパイプラインにより良い方法で組み込むことが可能である。 少数の例とよく設計されたプロンプトで、教師付きマッチングシステムに匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-07T09:34:20Z)
• Effective Prompt Extraction from Language Models [70.00099540536382]
  本稿では,迅速な抽出攻撃の有効性を評価するための枠組みを提案する。 3つの異なるプロンプトと11の基盤となる大規模言語モデルによる実験では、単純なテキストベースの攻撃は、実際に高い確率でプロンプトを明らかにすることができる。 本フレームワークは,抽出したプロンプトがモデル幻覚ではなく実際の秘密プロンプトであるか否かを高精度に判定する。
  論文  参考訳（メタデータ） (2023-07-13T16:15:08Z)
• Boosted Prompt Ensembles for Large Language Models [38.402161594793775]
  チェーン・オブ・ソート・プロンプトや自己整合性といった手法は、追加のトレーニングを伴わずに、言語モデル推論のパフォーマンスのフロンティアを押し上げている。 大規模言語モデルのためのプロンプトアンサンブル手法を提案する。これは、小さなデータセットを用いて、強化されたプロンプトアンサンブルを構成する一連のショットプロンプトを構成する。」 これにより,GSM8kおよびAQuAデータセットにおいて,単一プロンプトの出力空間アンサンブルとタグ付きプロンプト空間アンサンブルより優れることを示す。
  論文  参考訳（メタデータ） (2023-04-12T16:47:15Z)
• Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
  プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。 プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
  論文  参考訳（メタデータ） (2022-12-08T02:21:47Z)
• Explaining Patterns in Data with Language Models via Interpretable Autoprompting [143.4162028260874]
  本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。 iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。 fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
  論文  参考訳（メタデータ） (2022-10-04T18:32:14Z)
• Probing via Prompting [71.7904179689271]
  本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。 我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。 次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
  論文  参考訳（メタデータ） (2022-07-04T22:14:40Z)
• Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified Multilingual Prompt [98.26682501616024]
  我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。 統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。 提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
  論文  参考訳（メタデータ） (2022-02-23T11:57:52Z)
• Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm [0.0]
  自然言語のレンズを通してプロンプトを考えることの有用性を強調しながら,プロンプトプログラミングの手法について論じる。 モデルに種を付けて、さまざまなタスクのための独自の自然言語プロンプトを生成するメタプロンプトのアイデアを紹介します。
  論文  参考訳（メタデータ） (2021-02-15T05:27:55Z)
• AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts [46.03503882865222]
  AutoPromptは、勾配誘導検索に基づいて、さまざまなタスクセットのプロンプトを作成する自動メソッドである。 マスク付き言語モデル(MLM)は,感情分析や自然言語推論を,追加パラメータや微調整を伴わずに行う能力を持つことを示す。
  論文  参考訳（メタデータ） (2020-10-29T22:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。