論文の概要: KEYword based Sampling (KEYS) for Large Language Models

• arxiv url: http://arxiv.org/abs/2305.18679v1
• Date: Tue, 30 May 2023 01:35:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 18:47:01.807732
• Title: KEYword based Sampling (KEYS) for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのKEYword based Smpling (KEYS)
• Authors: Jyothir S V, Zuhaib Akhtar, Samuel R. Bowman
• Abstract要約: キーワードは、言語生成において人間にとって非常に重要な役割を果たす。 本稿では,本手法がQ/Aタスクにおいて最もよく使われる復号法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 23.22035524636505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Question answering (Q/A) can be formulated as a generative task (Mitra, 2017) where the task is to generate an answer given the question and the passage (knowledge, if available). Recent advances in QA task is focused a lot on language model advancements and less on other areas such as sampling(Krishna et al., 2021), (Nakano et al., 2021). Keywords play very important role for humans in language generation. (Humans formulate keywords and use grammar to connect those keywords and work). In the research community, very little focus is on how humans generate answers to a question and how this behavior can be incorporated in a language model. In this paper, we want to explore these two areas combined, i.e., how sampling can be to used generate answers which are close to human-like behavior and factually correct. Hence, the type of decoding algorithm we think should be used for Q/A tasks should also depend on the keywords. These keywords can be obtained from the question, passage or internet results. We use knowledge distillation techniques to extract keywords and sample using these extracted keywords on top of vanilla decoding algorithms when formulating the answer to generate a human-like answer. In this paper, we show that our decoding method outperforms most commonly used decoding methods for Q/A task
• Abstract（参考訳）: 質問応答 (Q/A) は生成タスク (Mitra, 2017) として定式化することができ、質問とパス(可能であれば知識)を与えられた回答を生成する。 qaタスクの最近の進歩は、言語モデルの進歩に重点を置いており、サンプリング(krishna et al., 2021), (nakano et al., 2021) といった他の領域よりも少ない。 キーワードは、言語生成において人間にとって非常に重要な役割を果たす。 (Humansはキーワードを定式化し、文法を使ってこれらのキーワードと作業を結ぶ)。 研究コミュニティでは、人間が質問に対する回答をどのように生成し、この振る舞いを言語モデルに組み込むかにはほとんど焦点が当てられません。 本稿では,これら2つの領域の組み合わせ,すなわち,ヒトに近い行動と事実的正しい回答を,サンプリングでどのように生成するかを考察する。 したがって、q/aタスクに使用するべきデコーディングアルゴリズムの種類は、キーワードにも依存すべきである。 これらのキーワードは、質問、通過、インターネットの結果から得ることができる。 知識蒸留技術を用いて,バニラ復号アルゴリズム上に抽出したキーワードとサンプルを抽出し,その解を定式化して人間的な解を生成する。 本稿では,本手法がq/aタスクでよく使われる復号法よりも優れていることを示す。

関連論文リスト

• Improving Question Generation with Multi-level Content Planning [70.37285816596527]
  本稿では、与えられたコンテキストと回答から質問を生成する問題に対処し、特に拡張されたコンテキストをまたいだマルチホップ推論を必要とする質問に焦点をあてる。 具体的には、キーフレーズを同時に選択して完全な回答を生成するFA-modelと、生成した全回答を付加的な入力として取り込んだQ-modelの2つのコンポーネントを含む。
  論文  参考訳（メタデータ） (2023-10-20T13:57:01Z)
• A Practical Toolkit for Multilingual Question and Answer Generation [79.31199020420827]
  我々は,マルチ言語QAGのオンラインサービスであるAutoQGと,モデル微調整,生成,評価のためのオールインワンPythonパッケージであるlmqgを紹介した。 また、事前訓練されたエンコーダ-デコーダ言語モデルのいくつかの変種を微調整した8言語でQAGモデルをリリースしています。
  論文  参考訳（メタデータ） (2023-05-27T08:42:37Z)
• Semantic Parsing for Conversational Question Answering over Knowledge Graphs [63.939700311269156]
  本研究では,ユーザの質問にSparqlパースとアノテートし,システム回答が実行結果に対応するデータセットを開発する。 本稿では,2つの意味解析手法を提案し,その課題を強調した。 私たちのデータセットとモデルはhttps://github.com/Edinburgh/SPICE.orgで公開されています。
  論文  参考訳（メタデータ） (2023-01-28T14:45:11Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Pop Quiz! Can a Large Language Model Help With Reverse Engineering? [23.710569690067757]
  大規模な言語モデル(OpenAIのCodexなど)は、印象的なゼロショットマルチタスク機能を示している。 この能力がリバースエンジニアリングに役立つかどうかを検討する。 重要な点は、LLMはまだゼロショットリバースエンジニアリングの準備が整っていないことだ。
  論文  参考訳（メタデータ） (2022-02-02T17:09:15Z)
• Decrypting Cryptic Crosswords: Semantically Complex Wordplay Puzzles as a Target for NLP [5.447716844779342]
  クリプティック・クロスワード(Cryptic crosswords)は、イギリスにおける英語を話すクロスワードである。 ベンチマークとして使用可能な暗号クロスワードヒントのデータセットを提示し,それらを解決するためにシーケンス・ツー・シーケンスモデルをトレーニングする。 新たなカリキュラム学習手法により,性能を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2021-04-17T18:54:00Z)
• Tag and Correct: Question aware Open Information Extraction with Two-stage Decoding [73.24783466100686]
  質問 オープンIEは質問と通過を入力として受け取り、主題、述語、および1つ以上の議論を含む回答を出力する。 半構造化された答えには2つの利点がある。 一つは、Open IEモデルによるパスから候補回答を抽出し、質問にマッチしてランク付けする抽出方法である。 もう1つは、シーケンスモデルを用いて回答を直接生成する生成方法である。
  論文  参考訳（メタデータ） (2020-09-16T00:58:13Z)
• Words aren't enough, their order matters: On the Robustness of Grounding Visual Referring Expressions [87.33156149634392]
  視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。 83.7%のケースでは言語構造に関する推論は不要である。 比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
  論文  参考訳（メタデータ） (2020-05-04T17:09:15Z)
• Keyword-Attentive Deep Semantic Matching [1.8416014644193064]
  本稿では,深いセマンティックマッチングを改善するためのキーワード付きアプローチを提案する。 まず、大きなコーパスからのドメインタグを利用して、ドメインを拡張したキーワード辞書を生成する。 モデル学習中,入力ペア間のキーワードカバレッジに基づく新しいネガティブサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-11T10:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。