論文の概要: Dissecting Paraphrases: The Impact of Prompt Syntax and supplementary Information on Knowledge Retrieval from Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2404.01992v1
• Date: Tue, 2 Apr 2024 14:35:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 15:59:17.634028
• Title: Dissecting Paraphrases: The Impact of Prompt Syntax and supplementary Information on Knowledge Retrieval from Pretrained Language Models
• Title（参考訳）: パラフレーズの分離:事前訓練された言語モデルからの知識検索におけるプロンプト構文と補足情報の影響
• Authors: Stephan Linzbach, Dimitar Dimitrov, Laura Kallmeyer, Kilian Evang, Hajira Jabeen, Stefan Dietze,
• Abstract要約: ConPARE-LAMAは、3400万の異なるプロンプトからなるプローブで、最小限のパラフレーズ間での比較を容易にする。 ConPARE-LAMAは, PLMの知識検索性能に対する統語的形態や意味情報の独立的な影響についての洞察を可能にする。
• 参考スコア（独自算出の注目度）: 8.588056811772693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained Language Models (PLMs) are known to contain various kinds of knowledge. One method to infer relational knowledge is through the use of cloze-style prompts, where a model is tasked to predict missing subjects or objects. Typically, designing these prompts is a tedious task because small differences in syntax or semantics can have a substantial impact on knowledge retrieval performance. Simultaneously, evaluating the impact of either prompt syntax or information is challenging due to their interdependence. We designed CONPARE-LAMA - a dedicated probe, consisting of 34 million distinct prompts that facilitate comparison across minimal paraphrases. These paraphrases follow a unified meta-template enabling the controlled variation of syntax and semantics across arbitrary relations. CONPARE-LAMA enables insights into the independent impact of either syntactical form or semantic information of paraphrases on the knowledge retrieval performance of PLMs. Extensive knowledge retrieval experiments using our probe reveal that prompts following clausal syntax have several desirable properties in comparison to appositive syntax: i) they are more useful when querying PLMs with a combination of supplementary information, ii) knowledge is more consistently recalled across different combinations of supplementary information, and iii) they decrease response uncertainty when retrieving known facts. In addition, range information can boost knowledge retrieval performance more than domain information, even though domain information is more reliably helpful across syntactic forms.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)には様々な種類の知識が含まれていることが知られている。 リレーショナルな知識を推測する1つの方法はクローゼスタイルのプロンプトを使用することであり、そこではモデルが行方不明の被写体や物体を予測する。 通常、これらのプロンプトを設計するのは面倒な作業である。なぜなら、構文や意味論の小さな違いが知識検索性能に大きな影響を及ぼす可能性があるからだ。 同時に、相互依存のため、素早い構文や情報の影響を評価することは困難である。 最小限のパラフレーズ間の比較を容易にする3400万の異なるプロンプトからなる専用プローブであるCONPARE-LAMAを設計した。 これらのパラフレーズは、任意の関係にまたがる構文と意味の制御可能な統一メタテンプレートに従う。 CONPARE-LAMAは, PLMの知識検索性能に対する統語的形態や意味情報の独立的な影響についての洞察を可能にする。 広範囲にわたる知識検索実験では, 接尾辞構文と比較して, 接尾辞構文に従うプロンプトにはいくつかの望ましい性質があることが判明した。 一 補足情報の組み合わせによりPLMを照会する際に有用であること。 二 知識は、補足情報の異なる組み合わせでより一貫して呼び戻され、 三 既知の事実を回収するときの応答の不確実性を低減すること。 さらに、ドメイン情報が構文形式にまたがってより確実に有用であっても、範囲情報はドメイン情報よりも知識検索性能を高めることができる。

関連論文リスト

• Helping Language Models Learn More: Multi-dimensional Task Prompt for Few-shot Tuning [36.14688633670085]
  本稿では,タスク関連オブジェクト,要約,タスク記述情報に基づく多次元タスクプロンプト学習手法MTPromptを提案する。 提案するMTPromptは,適切なプロンプトを自動構築し,検索することで,いくつかのサンプル設定と5つの異なるデータセットに対して最適な結果が得られる。
  論文  参考訳（メタデータ） (2023-12-13T10:00:44Z)
• Blending Reward Functions via Few Expert Demonstrations for Faithful and Accurate Knowledge-Grounded Dialogue Generation [22.38338205905379]
  我々は、新しい報酬関数を導入することで上記の課題を克服するために強化学習アルゴリズムを活用する。 我々の報奨関数は、精度測定値と忠実度測定値を組み合わせて、生成された応答のバランスの取れた品質判定を提供する。
  論文  参考訳（メタデータ） (2023-11-02T02:42:41Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information [79.06082391992545]
  本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。 文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。 各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-10-08T08:47:10Z)
• Context-faithful Prompting for Large Language Models [51.194410884263135]
  大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。 パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。 我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
  論文  参考訳（メタデータ） (2023-03-20T17:54:58Z)
• Explaining Patterns in Data with Language Models via Interpretable Autoprompting [143.4162028260874]
  本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。 iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。 fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
  論文  参考訳（メタデータ） (2022-10-04T18:32:14Z)
• Ontology-enhanced Prompt-tuning for Few-shot Learning [41.51144427728086]
  少ないショットラーニングは、限られたサンプル数に基づいて予測を行うことを目的としている。 知識グラフやオントロジーライブラリなどの構造化データは、様々なタスクにおける数ショット設定の恩恵を受けるために利用されてきた。
  論文  参考訳（メタデータ） (2022-01-27T05:41:36Z)
• KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction [111.74812895391672]
  シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。 関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
  論文  参考訳（メタデータ） (2021-04-15T17:57:43Z)
• Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge [62.46091695615262]
  我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。 構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。 我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
  論文  参考訳（メタデータ） (2020-09-12T17:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。