論文の概要: Writing your own book: A method for going from closed to open book QA to improve robustness and performance of smaller LLMs

• arxiv url: http://arxiv.org/abs/2305.11334v1
• Date: Thu, 18 May 2023 22:47:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 16:58:57.519248
• Title: Writing your own book: A method for going from closed to open book QA to improve robustness and performance of smaller LLMs
• Title（参考訳）: 自分の本を書く: 小さなLLMの堅牢性とパフォーマンスを改善するために、クローズドからオープンな本QAに進む方法
• Authors: Giorgi Kokaia, Pratyush Sinha, Yutong Jiang, Nozha Boujemaa
• Abstract要約: 本稿では,質問応答における大規模言語モデル(LLM)の性能向上のための2つの新しい手法を提案する。 Tree-Searchは、与えられたプロンプトのためにLLMから多様な情報を抽出するために作成されたサンプリング技術である。 自己コンテキスト化QAは、Tree-Searchを活用して、プロンプトに関連する幅広い情報を使用して、モデルが独自のコンテキストを作成することを可能にする。
• 参考スコア（独自算出の注目度）: 0.9421843976231371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce two novel methods, Tree-Search and Self-contextualizing QA, designed to enhance the performance of large language models (LLMs) in question-answering tasks. Tree-Search is a sampling technique specifically created to extract diverse information from an LLM for a given prompt. Self-contextualizing QA leverages Tree-Search to enable the model to create its own context using a wide range of information relevant to the prompt, evaluate it explicitly and return a open book answer to the initial prompt . We demonstrate that the quality of generated answers improves according to various metrics, including accuracy, informativeness, coherence, and consistency, as evaluated by GPT3.5(text-davinci-003). Furthermore, we show that our methods result in increased robustness and that performance is positively correlated with tree size, benefiting both answer quality and robustness. Finally, we discuss other promising applications of Tree-Search, highlighting its potential to enhance a broad range of tasks beyond question-answering. \noindent We also discuss several areas for future work, including refining the Tree-Search and Self-Contextualizing QA methods, improving the coherence of the generated context, and investigating the impact of bootstrapping on model robustness
• Abstract（参考訳）: 本稿では,問合せタスクにおける大規模言語モデル(LLM)の性能向上を目的とした,木探索と自己記述型QAという2つの新しい手法を紹介する。 Tree-Searchは、特定のプロンプトのためにLLMから多様な情報を抽出するために特別に作られたサンプリング技術である。 自己コンテキスト化 qaはツリー検索を利用して、モデルがプロンプトに関連する幅広い情報を使用して独自のコンテキストを作成し、明示的に評価し、最初のプロンプトにオープンブックの回答を返す。 GPT3.5(text-davinci-003) で評価した結果, 精度, 情報性, コヒーレンス, 一貫性など, 様々な指標により, 結果の質が向上することを示した。 さらに,本手法は強靭性を高め,木の大きさと正の相関性を示し,応答品質と強靭性の両方に寄与することを示した。 最後に、tree-searchの他の有望な応用について論じ、質問応答以外の幅広いタスクの拡張の可能性を強調した。 木探索および自己文脈化QA手法の精錬、生成したコンテキストのコヒーレンスの改善、ブートストラップがモデルロバスト性に与える影響など、今後の課題についても検討する。

関連論文リスト

• Technical Report: Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• Exploring Hint Generation Approaches in Open-Domain Question Answering [16.434748534272014]
  HINTQAと呼ばれる新しいコンテキスト準備手法を導入する。 従来の方法とは異なり、HINTQA は LLM に対して質問に対する潜在的な答えのヒントを作成するよう促している。 提案手法は,検索した文脈や生成した文脈よりも解答の精度を高めるものである。
  論文  参考訳（メタデータ） (2024-09-24T13:50:32Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• PerkwE_COQA: Enhanced Persian Conversational Question Answering by combining contextual keyword extraction with Large Language Models [0.8057006406834466]
  本稿では,ペルシア語対話型質問応答システム(CQA)の性能向上のための新しい手法を提案する。 LLM(Large Language Models)と文脈キーワード抽出の長所を組み合わせる。 提案手法は,暗黙的な質問を効果的に処理し,文脈に関連のある回答を提示し,会話の文脈に大きく依存する複雑な質問に対処する。
  論文  参考訳（メタデータ） (2024-04-08T11:14:58Z)
• generAItor: Tree-in-the-Loop Text Generation for Language Model Explainability and Adaptation [28.715001906405362]
  大規模言語モデル(LLM)は、自動補完、補助的な書き込み、チャットベースのテキスト生成など、様々な下流タスクに広くデプロイされている。 本稿では,ビーム探索ツリーの視覚的表現を解析,説明,適応する中心的な要素とする,ループ内ツリーのアプローチを提案することで,この欠点に対処する。 視覚解析技術であるGenerAItorを,タスク固有のウィジェットで中央ビーム探索木を拡大し,ターゲットとした可視化とインタラクションの可能性を提供する。
  論文  参考訳（メタデータ） (2024-03-12T13:09:15Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Self-Convinced Prompting: Few-Shot Question Answering with Repeated Introspection [13.608076739368949]
  本稿では,大規模事前学習型言語モデルの可能性を活用する新しいフレームワークを提案する。 我々のフレームワークは、典型的な数発の連鎖プロンプトの出力を処理し、応答の正しさを評価し、回答を精査し、最終的には新しい解を生成する。
  論文  参考訳（メタデータ） (2023-10-08T06:36:26Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• Entailment Tree Explanations via Iterative Retrieval-Generation Reasoner [56.08919422452905]
  我々はIRGR(Iterative Retrieval-Generation Reasoner)と呼ばれるアーキテクチャを提案する。 本モデルでは,テキストの前提からステップバイステップの説明を体系的に生成することにより,与えられた仮説を説明することができる。 前提条件の検索と細分化木の生成に関する既存のベンチマークを上回り、全体の正しさはおよそ300%向上した。
  論文  参考訳（メタデータ） (2022-05-18T21:52:11Z)
• Augmenting Pre-trained Language Models with QA-Memory for Open-Domain Question Answering [38.071375112873675]
  質問応答型エンコーダデコーダモデルの提案と事前学習戦略について述べる。 これにより、シングルホップのQAタスクにおいて、以前のQA検索方法よりも優れたエンドツーエンドシステムが得られる。
  論文  参考訳（メタデータ） (2022-04-10T02:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。