論文の概要: Teaching Smaller Language Models To Generalise To Unseen Compositional Questions

• arxiv url: http://arxiv.org/abs/2308.00946v2
• Date: Mon, 21 Aug 2023 00:28:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 22:34:58.802530
• Title: Teaching Smaller Language Models To Generalise To Unseen Compositional Questions
• Title（参考訳）: より小さな言語モデルを使って作曲の疑問を一般化する
• Authors: Tim Hartill, Neset Tan, Michael Witbrock, Patricia J. Riddle
• Abstract要約: 多様な推論能力を具現化するために,最大93タスクのマルチタスク事前学習の組み合わせを提案する。 検索強化トレーニングデータセットを追加することにより,性能が大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 6.9076450524134145
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We equip a smaller Language Model to generalise to answering challenging compositional questions that have not been seen in training. To do so we propose a combination of multitask supervised pretraining on up to 93 tasks designed to instill diverse reasoning abilities, and a dense retrieval system that aims to retrieve a set of evidential paragraph fragments. Recent progress in question-answering has been achieved either through prompting methods against very large pretrained Language Models in zero or few-shot fashion, or by fine-tuning smaller models, sometimes in conjunction with information retrieval. We focus on the less explored question of the extent to which zero-shot generalisation can be enabled in smaller models with retrieval against a corpus within which sufficient information to answer a particular question may not exist. We establish strong baselines in this setting for diverse evaluation datasets (StrategyQA, CommonsenseQA, IIRC, DROP, Musique and ARC-DA), and show that performance can be significantly improved by adding retrieval-augmented training datasets which are designed to expose our models to a variety of heuristic reasoning strategies such as weighing partial evidence or ignoring an irrelevant context.
• Abstract（参考訳）: より小さな言語モデルを用いて、トレーニングで見たことのない難解な構成質問への回答を一般化する。 そこで本稿では,多種多様な推論能力を具現化する最大93のタスクを事前訓練するマルチタスクと,段落フラグメントの集合を検索する高密度検索システムの組み合わせを提案する。 質問応答の最近の進歩は、ゼロショットまたは少数ショットの非常に大きな事前学習された言語モデルに対する提案方法や、時には情報検索と組み合わせて、より小さなモデルを微調整することで達成されている。 我々は、特定の問題に答える十分な情報が存在しないコーパスに対して検索を行う小さなモデルにおいて、ゼロショットの一般化がどこまで可能かという未検討の問題に焦点を当てる。 今回我々は,様々な評価データセット(strategyqa,commonsenseqa,iirc,drop,musique,arc-da)に対する強力なベースラインを確立し,モデルに部分的証拠の重み付けや無関係な文脈の無視など,さまざまなヒューリスティックな推論戦略を露出するように設計された検索型トレーニングデータセットを追加することで,パフォーマンスが大幅に向上することを示す。

関連論文リスト

• Teaching Smaller Language Models To Generalise To Unseen Compositional Questions (Full Thesis) [0.0]
  私たちは、検索したコンテキストを推論する能力を注入することで、さまざまな質問に答えるようにモデルを訓練します。 2つの知識ソースからコンテキストを取得し、ウィキペディアコーパスは、新しい拡張を持つマルチホップ高密度検索システムを用いてクエリし、より大規模な言語モデルから生成された論理から、より低いリソース環境下での動作を最適化した。
  論文  参考訳（メタデータ） (2024-11-25T23:25:34Z)
• Patience Is The Key to Large Language Model Reasoning [0.0]
  そこで我々は,モデルに患者推論スタイルを採用することを奨励する簡単な方法を提案する。 我々は、肯定的な例として詳細な推論プロセス、否定的な例として単純な回答を生成し、その結果、その反応の完全性を支持するようにモデルを訓練する。 この結果から,軽量データセット上でのトレーニングにより,GSM8kのパフォーマンスは最大6.7%向上した。
  論文  参考訳（メタデータ） (2024-11-20T07:20:48Z)
• Optimizing Language Model's Reasoning Abilities with Weak Supervision [48.60598455782159]
  弱い教師付きベンチマークであるtextscPuzzleBen について,25,147 の複雑な質問,回答,人為的合理性からなる。 データセットのユニークな側面は、10,000の未注釈の質問を含めることであり、LLMの推論能力を高めるために、より少ないスーパーサイズのデータを活用することができる。
  論文  参考訳（メタデータ） (2024-05-07T07:39:15Z)
• Low-Rank Adaptation for Multilingual Summarization: An Empirical Study [60.541168233698194]
  私たちはその可能性を調査する。 多言語要約領域におけるローランド適応(LoRA)に着目した効率的なファインチューニング ハイデータやローデータの設定、言語間転送など、さまざまなデータ可用性シナリオに関する広範な調査を行います。 以上の結果から,LoRAは大量のデータでトレーニングされた場合の完全な微調整と競合し,低データシナリオや言語間転送に優れることがわかった。
  論文  参考訳（メタデータ） (2023-11-14T22:32:39Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• Collaborating with language models for embodied reasoning [30.82976922056617]
  複雑で曖昧な環境での推論は、強化学習(RL)エージェントの重要な目標である。 本稿では,ゼロショットを一般化し,障害事例を調査するシステムの能力を検証し,推論を必要とする一連のタスクを提案する。
  論文  参考訳（メタデータ） (2023-02-01T21:26:32Z)
• Semantic Sentence Composition Reasoning for Multi-Hop Question Answering [1.773120658816994]
  マルチホップ質問応答タスクに対する意味文合成推論手法を提案する。 事実文と多段階意味検索の組み合わせにより,本手法はモデル学習や推論において,より包括的な文脈情報を提供することができる。 実験の結果,既存の学習済み言語モデルを組み込んで,QASCタスクにおける既存のSOTA法を約9%向上させることができた。
  論文  参考訳（メタデータ） (2022-03-01T00:35:51Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。