Fugu-MT 論文翻訳(概要): Answering Unseen Questions With Smaller Language Models Using Rationale Generation and Dense Retrieval

論文の概要: Answering Unseen Questions With Smaller Language Models Using Rationale Generation and Dense Retrieval

arxiv url: http://arxiv.org/abs/2308.04711v2
Date: Sat, 12 Aug 2023 00:02:15 GMT
ステータス: 処理完了
システム内更新日: 2023-08-15 18:22:14.604789
Title: Answering Unseen Questions With Smaller Language Models Using Rationale Generation and Dense Retrieval
Title（参考訳）: Rationale 生成とDense Retrieval を用いた小型言語モデルによる未知の質問への回答
Authors: Tim Hartill, Diana Benavides-Prado, Michael Witbrock, Patricia J. Riddle
Abstract要約: スモールランゲージモデルは、質問応答課題に挑戦する上で、強力な推論能力を示すことが示されている。この設定でさらに改善する2つの方法を評価する。 4億4000万のパラメータしか使用していない1つの最良の推論モデルは、見当たらない評価データセットに対して、強力な比較前のベースラインを大幅に改善します。
参考スコア（独自算出の注目度）: 9.136948771060895
License: http://creativecommons.org/licenses/by/4.0/
Abstract: When provided with sufficient explanatory context, smaller Language Models have been shown to exhibit strong reasoning ability on challenging short-answer question-answering tasks where the questions are unseen in training. We evaluate two methods for further improvement in this setting. Both methods focus on combining rationales generated by a larger Language Model with longer contexts created from a multi-hop dense retrieval system. The first method ($\textit{RR}$) involves training a Rationale Ranking model to score both generated rationales and retrieved contexts with respect to relevance and truthfulness. We then use the scores to derive combined contexts from both knowledge sources using a number of combinatory strategies. For the second method ($\textit{RATD}$) we train a smaller Reasoning model using retrieval-augmented training datasets such that it becomes proficient at utilising relevant information from longer text sequences that may be only partially evidential and frequently contain many irrelevant sentences. Generally we find that both methods are effective but that the $\textit{RATD}$ method is more straightforward to apply and produces the strongest results in the unseen setting on which we focus. Our single best Reasoning model using only 440 million parameters materially improves upon strong comparable prior baselines for unseen evaluation datasets (StrategyQA 58.9 $\rightarrow$ 61.7 acc., CommonsenseQA 63.6 $\rightarrow$ 72.7 acc., ARC-DA 31.6 $\rightarrow$ 52.1 F1, IIRC 25.5 $\rightarrow$ 27.3 F1) and a version utilising our prior knowledge of each type of question in selecting a context combination strategy does even better. Our proposed models also generally outperform direct prompts against much larger models (BLOOM 175B and StableVicuna 13B) in both few-shot chain-of-thought and few-shot answer-only settings.
Abstract（参考訳）: 十分な説明的文脈が与えられると、より小さな言語モデルが、質問が訓練中に見当たらない短い質問応答タスクに対して強い推論能力を示すことが示される。この設定でさらに改善する2つの方法を評価する。どちらの手法も、より大きな言語モデルによって生成される有理性と、マルチホップ高密度検索システムから生成される長いコンテキストを組み合わせることに重点を置いている。最初のメソッド($\textit{RR}$)では、Rationale Rankingモデルをトレーニングして、生成した有理性と検索されたコンテキストの両方を関連性および真理性に関してスコア付けする。次に、これらのスコアを用いて、複数の組み合わせ戦略を用いて、両方の知識ソースから組み合わせたコンテキストを導出する。 2つ目の方法(\textit{RATD}$)では、検索強化トレーニングデータセットを使用してより小さな推論モデルをトレーニングし、部分的には明確で、多くの無関係な文を含むかもしれない長いテキストシーケンスから関連する情報を利用するのに熟練した。一般的に、両方のメソッドは有効であるが、$\textit{ratd}$メソッドの方が適用が簡単で、私たちが焦点を当てている見えない設定で最も強い結果を生み出す。たった4億4000万のパラメータを使った唯一の最善の推論モデルは、未発見の評価データセット(strategyqa 58.9 $\rightarrow$ 61.7 acc)の強力な比較基準によって、物質的に改善されます。詳細はCommonsenseQA 63.6 $\rightarrow$ 72.7 acc. を参照のこと。 ARC-DA 31.6 $\rightarrow$ 52.1 F1, IIRC 25.5 $\rightarrow$ 27.3 F1 と、コンテキストの組み合わせ戦略を選択する際の各質問の事前知識を利用するバージョンは、さらに優れている。提案したモデルは、通常、より大型のモデル(BLOOM 175BとStableVicuna 13B)に対して、数発のチェーンと数発の応答のみの設定の両方で直接のプロンプトより優れている。

論文の概要: Answering Unseen Questions With Smaller Language Models Using Rationale Generation and Dense Retrieval

関連論文リスト