論文の概要: Language Models Benefit from Preparation with Elicited Knowledge

• arxiv url: http://arxiv.org/abs/2409.01345v2
• Date: Fri, 6 Sep 2024 03:35:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 13:11:14.796936
• Title: Language Models Benefit from Preparation with Elicited Knowledge
• Title（参考訳）: 暗黙の知識による準備から得られる言語モデル
• Authors: Jiacan Yu, Hannah An, Lenhart K. Schubert,
• Abstract要約: ゼロショット・チェーン・オブ・シンキング(CoT)アプローチは言語モデル(LM)による質問応答(QA)によく使用される。 本稿では,LMの2つのインスタンスを使用する,PreprePと呼ばれる単純な汎用的プロンプト手法を提案する。 PrePは、ユーザのドメイン知識から独立して設計されており、特別なプロンプトエンジニアリングを必要とせずに、様々なQAタスクに適用できる。
• 参考スコア（独自算出の注目度）: 0.38233569758620056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The zero-shot chain of thought (CoT) approach is often used in question answering (QA) by language models (LMs) for tasks that require multiple reasoning steps, typically enhanced by the prompt "Let's think step by step." However, some QA tasks hinge more on accessing relevant knowledge than on chaining reasoning steps. We introduce a simple general prompting technique, called PREP, that involves using two instances of LMs: the first (LM1) generates relevant information, and the second (LM2) answers the question based on this information. PREP is designed to be general and independent of the user's domain knowledge, making it applicable across various QA tasks without the need for specialized prompt engineering. To evaluate the effectiveness of our prompting method, we create a dataset of 100 binary-choice questions, derived from an extensive schematic dataset on artifact parts and material composition. These questions ask which of two artifacts is less likely to share materials with another artifact. Such questions probe the LM's knowledge of shared materials in the part structure of different artifacts. We test our method on our dataset and three published commonsense reasoning datasets. The average accuracy of our method is consistently higher than that of all the other tested methods across all the tested datasets.
• Abstract（参考訳）: ゼロショット・チェーン・オブ・シンキング (ゼロショット・チェーン・オブ・シンキング、ゼロショット・チェーン・オブ・シンキング、ゼロショット・チェーン・オブ・シンキング、ゼロショット・チェーン・オブ・シンキング、ゼロショット・チェーン・オブ・シンキング、ゼロショット・チェーン・オブ・シンキング) は、複数の推論ステップを必要とするタスクに対して言語モデル (LM) による質問応答 (QA) でしばしば用いられる。 しかしながら、いくつかのQAタスクは、連鎖推論ステップよりも、関連する知識へのアクセスに重点を置いている。 そこで本研究では, LMの2つの事例を用いて, LM1が関連情報を生成し, LM2がこの情報に基づいて疑問に答える, PreP と呼ばれる単純な汎用的プロンプト手法を提案する。 PrePは、ユーザのドメイン知識から独立して設計されており、特別なプロンプトエンジニアリングを必要とせずに、様々なQAタスクに適用できる。 提案手法の有効性を評価するため,人工物部品および材料組成に関する広範囲なスキーマ的データセットから,100のバイナリ選択質問のデータセットを作成する。 これらの質問は、2つのアーティファクトのうちどれが、他のアーティファクトと材料を共有する可能性が低いかを問う。 このような質問は、異なるアーティファクトの部分構造における共有材料に関するLMの知識を調査する。 提案手法は,我々のデータセットと3つの公開コモンセンス推論データセットで検証する。 我々の手法の平均精度は、テストされたすべてのデータセットでテストされた他のすべてのメソッドよりも一貫して高い。

関連論文リスト

• Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [102.31558123570437]
  マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。 マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
  論文  参考訳（メタデータ） (2024-11-05T09:27:21Z)
• MFORT-QA: Multi-hop Few-shot Open Rich Table Question Answering [3.1651118728570635]
  今日の急成長する業界では、専門家は大量の文書を要約し、毎日重要な情報を抽出するという課題に直面している。 この課題に対処するために、テーブル質問回答(QA)のアプローチを開発し、関連する情報を抽出した。 近年のLarge Language Models (LLMs) の進歩により,プロンプトを用いて表データから情報を取り出す新たな可能性が高まっている。
  論文  参考訳（メタデータ） (2024-03-28T03:14:18Z)
• Automatic Question-Answer Generation for Long-Tail Knowledge [65.11554185687258]
  テールエンティティのための特別なQAデータセットを生成するための自動アプローチを提案する。 我々は,新たに生成された長尾QAデータセットに事前学習したLLMを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-03-03T03:06:31Z)
• SEMQA: Semi-Extractive Multi-Source Question Answering [94.04430035121136]
  本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。 この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
  論文  参考訳（メタデータ） (2023-11-08T18:46:32Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Modern Question Answering Datasets and Benchmarks: A Survey [5.026863544662493]
  質問回答(QA)は、自然言語処理(NLP)の最も重要なタスクの一つである。 NLP技術を用いて、大量の非構造化コーパスに基づいて、与えられた質問に対する対応する回答を生成することを目的としている。 本稿では,ディープラーニングの時代にリリースされた,影響力あるQAデータセットについて検討する。
  論文  参考訳（メタデータ） (2022-06-30T05:53:56Z)
• QASem Parsing: Text-to-text Modeling of QA-based Semantics [19.42681342441062]
  本稿では,QA-SRL,QANom,QADiscourseの3つの意味的タスクについて考察する。 最初に統合されたQASem解析ツールをリリースし、下流アプリケーションに実用的です。
  論文  参考訳（メタデータ） (2022-05-23T15:56:07Z)
• HeteroQA: Learning towards Question-and-Answering through Multiple Information Sources via Heterogeneous Graph Modeling [50.39787601462344]
  コミュニティ質問回答(Community Question Answering, CQA)は、Eコマースやオンラインユーザコミュニティなど、多くのシナリオで利用することができる、明確に定義されたタスクである。 CQAの手法のほとんどは、知識を抽出し、ユーザの質問に答えるために記事やウィキペディアしか含まない。 ユーザコミュニティに複数の情報ソース(MIS)を組み込んで回答を自動的に生成する問合せ対応の異種グラフ変換器を提案する。
  論文  参考訳（メタデータ） (2021-12-27T10:16:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。