論文の概要、ライセンス

# (参考訳) bloomの分類を用いた理解に基づく質問応答 [全文訳有]

Comprehension Based Question Answering using Bloom's Taxonomy ( http://arxiv.org/abs/2106.04653v1 )

ライセンス: CC BY 4.0
Pritish Sahu, Michael Cogswell, Sara Rutherford-Quach, Ajay Divakaran(参考訳) 現在の事前学習された言語モデルには多くの知識があるが、その知識を使う能力は限られている。 bloomの分類は、理解スキルを分類することで、子どもたちに知識の使い方を教えるのに役立ち、それを使って、大きな事前学習された言語モデルの理解スキルを分析し、改善します。 本実験は, ゼロショット質問応答に焦点をあて, 分類学を用いて, モデルが質問に関連付けて回答するのに役立つ近位文脈を提供する。 この方法でターゲティングコンテキストは、一般的な4つの質問応答データセットのパフォーマンスを改善する。

Current pre-trained language models have lots of knowledge, but a more limited ability to use that knowledge. Bloom's Taxonomy helps educators teach children how to use knowledge by categorizing comprehension skills, so we use it to analyze and improve the comprehension skills of large pre-trained language models. Our experiments focus on zero-shot question answering, using the taxonomy to provide proximal context that helps the model answer questions by being relevant to those questions. We show targeting context in this manner improves performance across 4 popular common sense question answer datasets.
公開日: Tue, 8 Jun 2021 19:32:21 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Comprehension Based Question Answering using Bloom’s Taxonomy bloomの分類を用いた理解に基づく質問応答 0.76
Pritish Sahu1,2 ∗ Michael Cogswell1 ∗ Pritish Sahu1,2 ∗ Michael Cogswell1 ∗ 0.75
Sara Rutherford-Quach1 Ajay Divakaran1 Sara Rutherford-Quach1 Ajay Divakaran1 0.65
1SRI International 2Rutgers University 1SRI International 2Rutgers University 0.84
1 2 0 2 n u J 1 2 0 2 n u J 0.85
8 ] L C . s c [ 8 ]LC。 sc [ 0.60
1 v 3 5 6 4 0 1 v 3 5 6 4 0 0.85
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
Abstract Current pre-trained language models have lots of knowledge, but a more limited ability to use that knowledge. 概要 現在の事前学習された言語モデルには多くの知識があるが、その知識を使う能力は限られている。 0.55
Bloom’s Taxonomy helps educators teach children how to use knowledge by categorizing comprehension skills, so we use it to analyze and improve the comprehension skills of large pre-trained language models. bloomの分類は、子どもたちに理解スキルを分類することで、知識の使い方を教えるのに役立つ。
訳抜け防止モード: bloomの分類学は、子どもたちに理解のスキルを分類することによって、知識の使い方を教える。 そこで私たちは、大きな事前訓練された言語モデルの理解スキルを分析し、改善するためにそれを使用します。
0.56
Our experiments focus on zero-shot question answering, using the taxonomy to provide proximal context that helps the model answer questions by being relevant to those questions. 本実験は, ゼロショット質問応答に焦点をあて, 分類学を用いて, モデルが質問に関連付けて回答するのに役立つ近位文脈を提供する。 0.70
We show targeting context in this manner improves performance across 4 popular common sense question answer datasets. この方法でターゲティングコンテキストは、一般的な4つの質問応答データセットのパフォーマンスを改善する。 0.64
Introduction 1 Recent large language models such as GPT3 (Brown et al , 2020) have made a giant leap forward in knowledge acquisition and even generalize this knowledge to a new tasks. はじめに gpt3(brown et al , 2020)のような最近の大規模言語モデル1は、知識獲得において大きな飛躍を遂げ、その知識を新しいタスクに一般化した。 0.65
But when less narrow tasks are considered they fail to understand as much as these benchmarks suggest. しかし、より狭いタスクを考えると、これらのベンチマークが示唆するほど理解できない。 0.52
They turn out to be “stochastic parrots” (Bender et al , 2021) or “smart/super parrots.” (Dunietz et al , 2020) that just memorize without all of the comprehension we want from a Natural Language Understanding system. それらは、私たちが自然言語理解システムから望むすべての理解なしに記憶する"stochastic parrots"(Bender et al , 2021)あるいは"smart/super parrots"(Dunietz et al , 2020)であることがわかった。 0.84
We focus on a particular kind of failure mode where the model knows (has memorized) the information it needs, but is not able to apply that information correctly, and we do so in a zero-shot fashion to control for what the model knows. 我々は、モデルが必要とする情報を(記憶している)知っているが、その情報を正しく適用できない特定の種類の障害モードに注目し、モデルが知っていることを制御するためにゼロショット方式で行う。 0.81
For example, in Fig 1 the model is asked if a mixture of grape juice and cranberry juice is safe to drink (Marcus and Davis, 2020). 例えば、図1では、グレープジュースとクランベリージュースの混合物が安全かどうかがモデルに尋ねられる(marcus and davis, 2020)。 0.71
GPT-3 declares that it is a deadly poison, even though it appears to ”know” that grape juice and cranberry juice are safe to drink by themselves (Fig. gpt-3は、グレープジュースとクランベリージュースは自分で飲んでも安全であるにもかかわらず、致命的な毒であると宣言している(図)。 0.72
1, Level 1, dark purple). レベル1、レベル1、ダークパープル)。 0.63
It even knows that cranberry juice with grape juice is not poisonous, but it still thinks the result is death (Fig. クランベリージュースとグレープジュースは毒ではないことも知っているが、結果はまだ死だと考えている(図)。 0.70
1, Level 2, light blue). レベル1、レベル2、ライトブルー)。 0.66
The model has モデルは持っています 0.58
∗These two authors contributed equally. ∗these 2人の著者が等しく貢献した。 0.44
memorized the necessary information from large amounts of text, but does not use its knowledge appropriately. 大量のテキストから必要な情報を記憶するが、その知識を適切に使用しない。 0.79
Following (Shwartz et al , 2020), we extract this knowledge as explicit language then feed it back as additional context during inference, forcing the model to use what it already knows but in our case targeting specifically useful knowledge. Shwartz et al , 2020 に続いて、我々はこの知識を明示的な言語として抽出し、推論中に追加のコンテキストとしてフィードバックし、モデルに既に知っていることを強制するが、我々の場合、特に有用な知識をターゲットとする。 0.61
To formalize this distinction we drew inspiration from elementary school classrooms, where teachers (Miller, 2002; Harvey and Goudvis, 2007) have a schema based approach in which they teach children to demonstrate multiple levels of comprehension, making complex inferences and direct recall from memory. 教師たち(Miller, 2002; Harvey and Goudvis, 2007)は、複数のレベルの理解を証明し、複雑な推論と記憶からの直接的リコールを子供たちに教えるスキーマベースのアプローチを採っている。
訳抜け防止モード: この区別を形式化する 私たちは小学校の教室からインスピレーションを受けました 2002 ; Harvey と Goudvis, 2007 ) はスキーマベースのアプローチを持っている。 子供たちに様々なレベルの理解を 示すように教える 複雑な推論と 記憶からの直接的思い出を作る
0.80
They use a hierarchy of comprehension skills called Bloom’s Taxonomy (Anderson et al , 2000) (c.f . 彼らはブルームの分類学(Anderson et al , 2000)と呼ばれる理解スキルの階層を用いる。 0.71
Fig 1) with memorization is at the bottom (requiring children to recall facts) followed by understanding (requiring children to grasp semantics) application (requiring children to solve problems), and more complex skills. 第1図 記憶が最下層(事実を思い出すための子どもの要求)に続き、理解(意味を理解するための子どもの要求)の応用(問題解決のための子どもの要求)とより複雑なスキルが続く。 0.71
For us, these comprehension skills describe ways our language model might fail to use its knowledge. 私たちの場合、これらの理解スキルは、言語モデルがその知識を使わなくなるかもしれない方法を記述します。 0.54
In this paper we address our failure mode by relying on commonly understood relationships between the skills of Bloom’s Taxonomy which we term proximal context. 本稿では,近位文脈と呼ぶブルーム分類のスキル間の共通理解された関係に依拠して,我々の失敗モードについて論じる。 0.74
In order to understand whether the cranberry grape mixture is poisonous the model needs to remember whether grape juice is poisonous. クランベリーブドウの混合液が有毒かどうかを理解するためには、グレープジュースが有毒かどうかを記憶する必要がある。
訳抜け防止モード: クランベリーブドウの混合物が有毒かどうかを理解するために グレープジュースが有毒かどうか モデルは覚えておく必要がある
0.65
In order to apply its knowledge to figure out what will happen next it needs to understand whether the cranberry grape mixture is poisonous or not. 知識を応用して次に何が起こるかを知るためには、クランベリーのブドウ混合物が有毒かどうかを理解する必要がある。
訳抜け防止モード: 次に何が起こるかを理解するためにその知識を適用する クランベリーブドウの混合物が 有毒かどうかを 理解する必要がある
0.81
In general, the proximal context for a particular task T at level L is given by those tasks implicitly required by T , which are mostly at level L − 1 of the taxonomy. 一般に、あるタスク T のレベル L における近位文脈は、主に分類学のレベル L − 1 である T によって暗黙的に要求されるタスクによって与えられる。 0.82
We guide our language to answer questions more accurately by providing it not just any context, but proximal context 1. 我々は、あらゆる文脈だけでなく、近近のコンテキスト1を提供することで、質問にもっと正確に答えるように言語を指導します。 0.57
In performing zero-shot question answering our language model asks itself additional clarifica- ゼロショット質問に答える言語モデルでは、追加のクラリニカを問う 0.57
1Proximal context is not defined for level 1 questions, so レベル1の質問に対して 1の近況は定義されていないので 0.51
we only address questions at level 2 or above. 質問はレベル2以上の質問のみです。 0.61
英語(論文から抽出)日本語訳スコア
Figure 1: Our approach incorporates context into question answering guided by Bloom’s Taxonomy. 図1:我々のアプローチは、ブルームの分類学によって導かれた質問応答に文脈を取り入れています。 0.54
tion questions, choosing those most likely to result in proximal context. オプションの質問は 近縁な状況になる可能性が高いものを選びます 0.55
Our contributions in this paper are: この論文への私たちの貢献は 0.74
• We use Bloom’s Taxonomy to choose proximal clarifying context that improves question answering performance using only what the model already knows. •bloomの分類を使って、モデルがすでに知っていることのみを使用して、質問応答のパフォーマンスを改善する近近的明確化コンテキストを選択します。 0.58
• We show proximal context is better than other levels of context on four different commonsense question answering tasks. • 4種類の共通理解質問応答課題において, 近位文脈が他の文脈よりも優れていることを示す。 0.61
• By observing how different levels of clarification impact our language model we also explain how the model answers questions. • 言語モデルに異なるレベルの明確化がどう影響するかを観察することで、モデルがどのように質問に答えるかを説明します。
訳抜け防止モード: •言語モデルに異なるレベルの明確化がどう影響するかを観察すること。 モデルがどう答えるかも説明します
0.73
2 Related Works Question Answering from External Supervision. 2 外部監督から回答する関連作業質問 0.54
Several approaches has been proposed to improve question-answering by adding external knowledge source. 外部知識ソースを追加することで質問応答を改善するためのいくつかのアプローチが提案されている。 0.52
Recent large pre-trained language models (Peters et al , 2018; Radford et al , 2019; Devlin et al , 2018; Liu et al , 2019; Joshi et al , 2020; Clark et al , 2020) learn general purpose text encoders from a huge text corpus. 最近の大規模な事前訓練された言語モデル(Peters et al , 2018; Radford et al , 2019; Devlin et al , 2018; Liu et al , 2019; Joshi et al , 2020; Clark et al , 2020)は、巨大なテキストコーパスから汎用テキストエンコーダを学ぶ。 0.94
(Petroni et al , 2019) recently used a language model as knowledge base to unmask a token given an entity and a relation in a predefined template. (petroni et al , 2019)最近、エンティティと事前に定義されたテンプレートのリレーションのトークンをアンマスクするために、知識ベースとして言語モデルを使用した。 0.69
Shwartz et al (2020); Bosselut et al (2019a,b) used pretrained language models to improve zero-shot question answering performance by extracting context from the language model itself, using self-talk or a knowledge graph. Shwartz et al (2020); Bosselut et al (2019a,b) は事前訓練された言語モデルを用いて、自己語や知識グラフを用いて言語モデル自体から文脈を抽出することで、ゼロショット質問応答性能を改善する。 0.75
We add context via self-talk, with structure provided by Bloom’s Taxonomy. BloomのTaxonomyによって提供される構造で、セルフトークを通じてコンテキストを追加します。 0.59
Bloom’s Taxonomy. The original work (Bloom, 1956) defined taxonomies for learning in the cognitive (intellectual), affective (interests, attitudes, values), and psychomotor domains, though the cognitive domain is what we usually refer to today. bloomの分類。 オリジナルの著作(Bloom, 1956)では、認知領域(知的な)、感情的(関心、態度、価値観)、精神運動の領域で学ぶための分類学が定義されている。 0.55
Almost half a century later the cognitive domain taxonomy was revised (Anderson et al , 2000) to reflect more active thinking and improve usability by adding verbs to describe levels. ほぼ半世紀後、認知領域の分類が改訂され(Anderson et al , 2000)、より活発な思考を反映し、レベルを記述するために動詞を追加することでユーザビリティを改善した。 0.66
Teachers use this taxonomy, for example in computer science education (Whalley et al , 2006; Thompson et al , 2008; Oliver et al , 2004), and our inspiration is from this revised version of the cognitive taxonomy. 教師は、例えばコンピュータ科学教育(whalley et al , 2006; thompson et al , 2008; oliver et al , 2004)でこの分類法を使用し、この改訂版からインスピレーションを得ている。 0.65
Machine learning has been applied to automatically classify questions (Mohammed and Omar, 2020; Zhang et al , 2021; Nafa et al , 2016) into Bloom’s Taxonomy levels, but the taxonomy has not been applied to analyze or improve machine learning models themselves. 機械学習は、問題(mohammed and omar, 2020; zhang et al , 2021; nafa et al , 2016)をブルームの分類レベルに自動的に分類するために適用されてきたが、機械学習モデル自体の分析や改善には分類は適用されていない。 0.78
We use it to help our model think about what it knows. 私たちはそれをモデルが知っていることを考えるのに役立てます。 0.67
3 Approach Our approach builds on the zero-shot question answering approach of Shwartz et al (2020) to answer questions (Section 3.1) by adding clarifications with self-talk (Section 3.2). 3 アプローチ 我々はShwartz et al (2020) のゼロショット質問応答アプローチに基づいて,自己トークによる明確化を加えることで質問に答える(Section 3.1)。 0.76
We describe this approach then we use Bloom’s Taxonomy to select better clarifications (Section 3.2). このアプローチについて説明すると、Bloomの分類学を使って、より良い明確化を選択する(Section 3.2)。
訳抜け防止モード: このアプローチを説明すると、ブルームの分類を使います。 より良い明確化を選択する(セクション3.2 )。
0.60
3.1 Question Answering with Language 3.1 言語による質問応答 0.72
Models Given a prompt p, a question q, and answer options ao ∀o ∈ [1, K] we use a pre-trained language model LM to pick the correct answer ao∗. モデル プロンプト p, 質問 q, 回答オプション ao ,o ∈ [1, K] が与えられたとき、我々は事前訓練された言語モデル LM を用いて正解 ao∗ を選択する。 0.78
This これ 0.73
英語(論文から抽出)日本語訳スコア
Dataset Question Prefix データセット 質問プレフィックス 0.63
Sample Clarification Question サンプルの解明 質問 0.72
Sample Clarification Answer サンプルの解明 答え 0.72
COPA What is the definition of : 1 COPA 第一の定義とは何か 0.76
(a) What is the definition of an accident? (a)事故の定義は何ですか。 0.74
(b) What is the definition of a flat tire? (b)フラットタイヤの定義とは何か。 0.69
What is the main purpose of : 2 主な目的は何ですか:2 0.74
CommonsenseQA What is the main function of a : 2 CommonsenseQA a : 2の主な機能は何ですか? 0.84
(a) What is the main purpose of this investigation? (a)この調査の主な目的は何ですか。 0.79
(b) What is the main purpose of this post? (b)この投稿の主な目的は何ですか? 0.84
(a) What is the main function of a teacher in this area? (a)この領域における教師の主な機能は何ですか。 0.87
(b) What is the main function of a farmer? (b)農家の主な機能は何ですか。 0.73
What might have caused : 3 原因の可能性 : 3 0.62
(a) What might have caused this problem? (a)なぜこの問題を引き起こしたのか。 0.76
(b) What might have caused the animal to flee? (b)動物が逃げ出した原因は何か。 0.70
Social IQA What did [NAME] do? ソーシャルIQA NAMEは何をしたのですか。 0.67
: 1 (a) What did Kendall do? : 1 (a)ケンドールは何をしたの? 0.68
(b) What did Kendall do? (b)ケンドールは何をしたの? 0.55
How would you describe [NAME]? あなたは[NAME]をどう説明しますか? 0.63
: 3 (a) How would you describe Riley? : 3 (a)ライリーをどう説明しますか。 0.72
(b) How would you describe Riley? (b)ライリーをどう説明しますか。 0.64
Winogrande What are the properties of a : 1 ウィノグランデ a : 1 の性質は何か 0.52
(a) What are the properties of a diet that is not healthy? (a)健康でない食事の特徴は何ですか。 0.63
(b) What are the properties of a home? (b)家の特徴は何ですか。 0.68
What does it mean to : 2 (a) What does it mean to be an explorer? 2」の意味は? (a)探検家とはどういう意味ですか。 0.58
(b) What does it mean to be sophisticated? (b)洗練とはどういうことか。 0.58
(a) The definition of an accident is the crash of collusion caused by the vehicle. (a)事故の定義は、車両による結託の衝突である。 0.65
(b) The definition of a flat tire is that the tire does not hold air. (b)パンクタイヤの定義は、タイヤが空気を保持しないことである。 0.78
(a) The purpose of this investigation is to provide information about how and why he was shot. (a)この調査の目的は、撃たれた方法と理由に関する情報を提供することである。 0.74
(b) The purpose of this post is to share my thoughts and feelings on his death. (b)この投稿の目的は、彼の死に対する私の考えと感情を共有することである。
訳抜け防止モード: (b)この投稿の目的は 彼の死に対する私の考えと感情を共有するために
0.82
(a)The main function of a teacher in this area is to teach them about life and love. (a)この地域の教師の主な機能は、生活と愛について教えることである。 0.77
(b) The main function of a farmer is to provide food for his family and the community. (b)農家の主な機能は、家族や地域社会に食料を提供することである。 0.80
(a) the cause of this problem was that his wife’s husband didn’t have enough money. (a)この問題の原因は、妻の夫が十分なお金を持っていなかったことである。 0.82
(b) The cause of the animal to flee was a predator. (b)動物が逃げる原因は捕食者であった。 0.69
(a) What Kendall did was make sure that he wasn’t going anywhere else. (a)Kendallが行ったのは、自分がどこにも行かないようにすることだ。 0.56
(b) What Kendall did was so horrible, that it was hard to believe. (b)ケンドールがやったことはとても恐ろしいので信じられないほどだった。 0.58
(a) Riley is a big brother, he’s an awesome dad. (a)ライリーは兄であり、素晴らしい父親です。 0.49
(b) Riley is a very sensitive person and has a lot of anxiety. (b)ライリーは非常にセンシティブな人物であり、多くの不安を抱えている。 0.66
(a) The property of a diet that is not healthy are that it has high cholesterol (a good idea). (a)健康でない食生活の特質は、コレステロールが高いこと(良い考え)である。 0.66
(b) The properties of a home are that which makes it comfortable and pleasant for the occupants. (b)住宅の特性は、居住者にとって快適で快適なものである。 0.70
(a) Be an explorer means to explore and make sense of things. (a)探検家とは、物事を探索し、理解すること。 0.69
(b) Be sophisticated means to be classy, elegant and smart. (b)高級で、優雅で、頭が良いという意味。 0.58
Table 1: This table shows some of the question prefixes we used for different datasets in our experiments. 表1: この表は、実験でさまざまなデータセットに使用した質問プレフィックスを示しています。 0.79
We assign each prefix a level in Bloom’s Taxonomy. それぞれの接頭辞をブルームの分類学のレベルに割り当てる。 0.61
We show generated clarifications questions and answers for both Distil-GPT2 (a) and GPT-Neo (b) for their corresponding question prefixes. それぞれの質問接頭辞に対して, distil-gpt2 (a) と gpt-neo (b) の両方に対して, 生成した明確化問題と回答を示す。
訳抜け防止モード: 我々は、 Distil - GPT2 (a) の両方に対して、生成した明確化の質問と回答を示す。 and GPT - Neo ( b ) for their corresponding question prefixes .
0.63
approach simply concatenates each (prompt, question, answer) tuple into into a single string of text To = [p, q, ao] and feeds this string to the language model to assign each choice a score so = LM (To). アプローチは、各 (prompt, question, answer) タプルを [p, q, ao] への単一の文字列に結合し、この文字列を言語モデルに与えて、各選択にスコア so = lm (to) を割り当てる。 0.76
The language model’s answer is just the answer with the highest score: ˆo = argmaxo so. 言語モデルの答えは、最も高いスコアを持つ答えに過ぎません。 0.56
3.2 Self-talk Clarifications Self-talk (Shwartz et al , 2020) has a language model ask itself clarifying questions then answer those questions to generate clarifications. 3.2self-talk Clarifications Self-talk (Shwartz et al , 2020)には言語モデルがあり、質問を明確にし、その質問に答えて明確化を生成する。 0.67
Stage 1: Ask clarification questions. ステージ1: 明確化の質問。 0.63
To produce clarifications we start with a set of clarification question prefixes r1, . 明確化を生成するには、一連の明確化問題プレフィックス r1, . から始める。 0.58
. . , rJ that are designed specifically for each question answering dataset. . . 質問応答データセット毎に特別に設計されたrJ。 0.83
“What happens if” is a sample prefix for the clarifications, shown in Fig 1, and in Tab. “what happens if”は、fig 1とtabで示されている、明確化のサンプルプレフィックスである。 0.74
1 we present examples for all the datasets we use. 1 使用するすべてのデータセットの例を示す。 0.73
In this stage the language model completes each of these prefixes, using its generator function LMG to ask one question Rj = LMG(rj) per prefix. この段階では、言語モデルはこれらのプレフィックスをそれぞれ完了し、ジェネレータ関数 LMG を使用してプレフィックスあたりの1つの質問 Rj = LMG(rj) を問う。 0.71
Stage 2: Answer the questions. ステージ2: 質問に答える。 0.64
Next we use the model to answer each of these questions, possibly prompted with an answer prefix bj corresponding to question prefix rj. 次に、これらの質問にそれぞれ答えるためにモデルを使用し、質問プレフィックスrjに対応する回答プレフィックスbjをトリガーします。 0.73
The results are the clarifications cj = LMG([Rj, bj]). 結果は、cj = lmg([rj, bj]) の明確化である。 0.67
Stage 3: Reconsider with a new prompt. ステージ3: 新しいプロンプトで再検討。 0.65
To use the clarifications we pick one from the list then append it to the original prompt. 明確化を使うには、リストから1つを選び、元のプロンプトに追加します。 0.62
This approach simply considers all combinations of clarifications questions and answers Tj,o = [p, q, cj, ao] ∀o, j, first chooses the clarification which maximizes model score per answer option, then chooses the final answer o∗ = argmaxo maxj LM (Tj,o). このアプローチは、すべての解の組合せを単純に考慮し、答え Tj,o = [p, q, cj, ao] .o, j は、まず解毎にモデルスコアを最大化する明細化を選択し、次に最終解 o∗ = argmaxo maxj LM (Tj,o) を選択する。 0.77
This can improve question answering performance on its own, but in the next section we more carefully choose clarifications using our notion of proximal context and Bloom’s Taxonomy. これは質問応答のパフォーマンスを自分自身で改善しますが、次のセクションでは、近位文脈とブルームの分類という概念を使って、より慎重に明確化を選択します。 0.55
3.3 Using Bloom’s Taxonomy to Choose Clarifications with Proximal Context 3.3 近位文脈による明確化の選択にbloomの分類を用いる 0.59
To test our idea of proximal context we consider the level L of task give by each dataset then allow only proximal clarifications of level L − 1. 近距離コンテキストのアイデアをテストするために、各データセットから与えられたタスクのレベル l を考えると、レベル l − 1 の近距離の明確化のみを許す。
訳抜け防止モード: 近位文脈の考え方を試すには 各データセットが与えるタスクのレベル L を考えると、レベル L − 1 の近位的明確化のみを許す。
0.81
We label each question prefix with the level of Bloom’s Taxonomy that it falls into, and then force the model to choose from the set CL of clarifications of level L. This results in a final choice for each level o∗ L = argmaxo maxj∈CL LM (Tj,o). それぞれの質問接頭辞を、それが該当するブルームの分類のレベルにラベル付けし、そのモデルにレベル L の明確化の集合 CL から選択させます。
訳抜け防止モード: 各質問の接頭辞には、ブルームが属する分類のレベルをラベル付けします。 これにより、各レベル o∗ l = argmaxo maxjjavacl lm (tj, tj) に対して最終選択が与えられる。 である。
0.52
We also provide a Choice Baseline that allows the model to choose any level of clarification to show the model would have difficulty choosing proximal clarifica- また、モデルがモデルが近位クラリフィカを選択するのに困難であることを示すために、任意のレベルの明確化を選択できる選択ベースラインを提供する。 0.64
英語(論文から抽出)日本語訳スコア
tions itself. Note that the annotation of questions along Bloom’s taxonomy requires special skills typically found only among educators. 調味料そのもの。 ブルームの分類に関する疑問の注釈は、一般的に教育者の間でのみ見られる特別なスキルを必要とする。 0.43
While a layperson can be trained to annotate such questions, our experience was that it takes much more time than we could afford for a preliminary study such as this one. 素人がこのような質問に注釈を付けるように訓練することはできるが、私たちの経験では、このような予備的な研究に十分な時間を要する。 0.65
We therefore relied on our coauthor, Sara Rutherford-Quach, who is a researcher at SRI’s Education Division and has also worked as a teacher at the kindergarten-element ary level to provide us the annotations. そこで私たちは、SRIの教育部門の研究員であり、幼稚園段階の教師としても働いている共同著者のSara Rutherford-Quach氏を頼りにしています。 0.69
Two other co-authors, Sahu and Cogswell, went through those annotations and made sure that each label had a three way consensus among Rutherford-Quach, Sahu and Cogswell. 他の2人の共著者、SahuとCogswellはこれらのアノテーションを精査し、各レーベルがRotherford-Quach、Sahu、Cogswellの間で3つのコンセンサスを持つことを確認した。 0.63
There might be some ambiguity about which level a particular prefix fits into, but this is also true of other applications of the taxonomy (Thompson et al , 2008). 特定の接頭辞がどのレベルに適合するかには曖昧さがあるかもしれないが、他の分類学の応用にも当てはまる(Thompson et al , 2008)。 0.73
In future work, we plan to carry out a more rigorous annotation with more than one skilled annotator so we can measure inter-annotator agreement through measures such as Kappa scores. 将来的には、複数の熟練した注記子によるより厳密な注記を行い、kappaスコアなどの手段により注記間合意を計測する計画である。 0.53
4 Experiments 4.1 Datasets We evaluate our study on four datasets that can each be thought of in terms of multiple choice question answering, all measuring some kind of common sense: COPA (Roemmele et al , 2011) measures common sense causal reasoning, CommonSenseQA (Talmor et al , 2019) asks questions that require prior knowledge, Social IQA (Sap et al , 2019) asks about social common sense, and WinoGrande (Sakaguchi et al , 2020) adversarially measures semantic common sense. 4 実験 4.1 データセット 複数選択質問応答の観点から考えることができる4つのデータセットについて、COPA (Roemmele et al , 2011) は常識因果推論、CommonSenseQA (Talmor et al , 2019) は事前知識を必要とする質問、Social IQA (Sap et al , 2019) は社会共通感覚について質問、WinoGrande (Sakaguchi et al , 2020) は不可逆的に意味共通感覚を測定する。 0.72
Perhaps surprisingly, all of the datasets we used asked questions that fell into just one level of the taxonomy (Tab. おそらく驚くことに、私たちが使ったデータセットはすべて、分類の1つのレベル(タブ)に落ちている質問でした。 0.64
2). These datasets do focus on very specific problems, but the result is still disappointing because it would be more useful to see variations in both task and clarification level. 2). これらのデータセットは、非常に具体的な問題に重点を置いているが、タスクレベルと明確化レベルの両方のバリエーションを見るのに有用であるため、結果は依然として失望している。
訳抜け防止モード: 2). これらのデータセットは、非常に具体的な問題に焦点を当てている。 しかし 結果は まだ失望しています タスクと明確化の両方の バリエーションを見れば より便利でしょう
0.75
It may be interesting to develop datasets that can better express the range of abilities described by Bloom’s Taxonomy. ブルームの分類学で説明される能力の範囲をよりよく表現できるデータセットを開発するのは興味深いかもしれない。 0.61
4.2 Language Model We use distill-GPT2 (Sanh et al , 2019) and the publicly released GPT-Neo2.7B(Black et al , 2021) (based on EleutherAI’s replication of the GPT-3 architecture) as the language models throughout our experiments. 4.2言語モデル 蒸留-GPT2 (Sanh et al , 2019) と公開リリースの GPT-Neo2.7B (Black et al , 2021) (EleutherAIによる GPT-3 アーキテクチャの複製に基づく) を言語モデルとして使用しています。 0.81
Our clarification question prefixes and hyperparameter settings for both models are 両モデルの明確化問題プレフィックスとハイパーパラメータ設定 0.67
Table 2: Question answering accuracy and std. 表2:質問応答の正確さとstd。 0.84
dev. using different levels ofclarification over multiple clarification samples. デビッド 異なるレベルの明細化を 複数の明細化サンプルで行います 0.42
Results on the dev sets of each dataset. 各データセットの開発セットの結果。 0.68
(* = level of proximal context \wrt the dataset) (* = 近況のレベルはデータセットを暗示する) 0.76
Task Model Winogrande (1267 total) (2: Understand) 課題 モデル ウィノグランデ(計1267名)(2名理解) 0.62
SocialIQA (1954 total) (3: Apply) SocialIQA (1954年) (3: 適用) 0.80
COPA (100 total) (3: Apply) COPA(100件)(3件適用) 0.69
CommonsenseQA (1221 total) (3: Apply) CommonsenseQA (合計1221件) (3: 適用) 0.86
Distil-GPT2 (235±5 valid) Distil-GPT2 (235±5 有効) 0.63
GPT-Neo (1230±7 valid) GPT-Neo (1230±7 有効) 0.69
Distil-GPT2 (58±5 valid) Distil-GPT2 (58±5 有効) 0.63
GPT-Neo (1334±9 valid) GPT-Neo (1334±9 有効) 0.69
Distil-GPT2 (11±2 valid) Distil-GPT2 (11±2 有効) 0.63
GPT-Neo (96±0 valid) GPT-Neo (96±0 有効) 0.69
Distil-GPT2 (68±1 valid) Distil-GPT2 (68±1 有効) 0.63
GPT-Neo (1118±4 valid) GPT-Neo(1118±4 有効) 0.65
Level 0A: Choice Baseline 1A: Remember* 2A: Understand 0A: Choice Baseline 1A: Remember* 2A: Understand 0B: Choice Baseline 1B: Remember 2B: Understand* 3B: Apply 0B: Choice Baseline 1B: Remember 2B: Understand* 3B: Apply 0C: Choice Baseline 1C: Remember 2C: Understand* 3C: Apply 0C: Choice Baseline 1C: Remember 2C: Understand* 3C: Apply 0D: Choice Baseline 1D: Remember 2D: Understand* 3D: Apply 0D: Choice Baseline 1D: Remember 2D: Understand* 3D: Apply level 0a: choice base 1a: understand 0a: choice baseline 1a: understand 0b: choice baseline 1b: understand 0b: understand 2b: apply 0b: choice baseline 1b: remember 2b: understand 2b: apply 0c: choice baseline 1c: remember 2c: understand* 3c: apply 0c: choice base 1c: remember 2c: understand 3c: apply 0d: choice baseline 1d: apply 0d: choice baseline 1d: understand 2d: apply 0d: understand 0d: choice baseline 1d: understand 0d: understand 2d: understand 2d: understand 2d: understand 2d: understand 2d: understand 2d: understand 2d: understand 2d: understand 2d: understand 2d: understand 3d: apply 0d: understand 2d: understand 2d: understand 2d: understand 3d: apply 0d: understand 3d: use
訳抜け防止モード: レベル0a : 選択基準1a : 記憶*2a : 選択基準1a : 記憶*2a : 理解0b : 選択基準1b : 記憶2b : 理解*3b : 選択基準1b : 記憶2b : 理解*3b : レベル0c : 選択基準1c : 記憶2c : 理解*3c : 選択基準1c : 記憶2c : 理解3d : 選択基準1d : 選択基準1d : 記憶2d : 理解*3d : 理解2d : 選択基準1d : 記憶2d : 記憶2d : 理解 *3d : 理解 *3d : 理解 *3d : 理解 *3d : 理解 *3d : 理解 *3d : 理解 適用
0.52
Accuracy 53.2 ± 1.8 54.7 ± 3.6 52.5 ± 3.1 54.62 ± 0.5 54.77 ± 0.5 54.76 ± 0.3 44.5 ± 0.1 43.7 ± 2.1 48.0 ± 1.1 44.4 ± 1.8 48.74 ± 0.4 47.31 ± 0.1 48.44 ± 0.5 48.1 ± 0.1 54.9 ± 0.9 46.0 ± 14.7 53.1 ± 12.5 40.8 ± 15.2 70.83 ± 0.0 65.62 ± 0.0 70.83 ± 1.4 70.83 ± 0.0 29.9 ± 2.7 26.5 ± 3.3 28.1 ± 1.2 25.6 ± 3.4 40.59 ± 3.6 38.00 ± 6.0 43.19 ± 0.2 42.30 ± 0.8 Accuracy 53.2 ± 1.8 54.7 ± 3.6 52.5 ± 3.1 54.62 ± 0.5 54.77 ± 0.5 54.76 ± 0.3 44.5 ± 0.1 43.7 ± 2.1 48.0 ± 1.1 44.4 ± 1.8 48.74 ± 0.4 47.31 ± 0.1 48.44 ± 0.5 48.1 ± 0.1 54.9 ± 0.9 46.0 ± 14.7 53.1 ± 12.5 40.8 ± 15.2 70.83 ± 0.0 65.62 ± 0.0 70.83 ± 1.4 70.83 ± 0.0 29.9 ± 2.7 26.5 ± 3.3 28.1 ± 1.2 25.6 ± 3.4 40.59 ± 3.6 38.00 ± 6.0 43.19 ± 0.2 42.30 ± 0.8 0.51
from (Shwartz et al , 2020). より (Shwartz et al , 2020)。 0.73
For each question prefix, we generate 5 clarification questions using nucleus sampling threshold probability p = 0.2 and adding at most 6 words to the clarification question prefix. 各質問プレフィックスに対して、核サンプリング閾値確率 p = 0.2 を用いて5つの明確化質問を生成し、少なくとも6つの単語を明確化質問プレフィックスに追加する。 0.64
We then generate 10 answers to each clarification question using p = 0.5 and maximum answer length 10. 次に p = 0.5 と最大解長 10 を用いて、各解答に対する10の解を生成する。 0.66
Some changes were necessary to accurately measure the impact of clarification level. いくつかの変更は、明確化レベルの影響を正確に測定するために必要だった。 0.53
Instead of always including no clarification as a choice we do not allow this option as it defeats our goal of measuring clarification level impact. 選択として明確化を常に含まない代わりに、明確化レベルの影響を測定するという目標を破り、このオプションを許可しません。 0.68
Furthermore, we do not use the clarification questions which were manually completed without input from the model (as in COPA and Winogrande). さらに、モデルからの入力なしに手作業で完了した(COPAやWinograndeのように)明確化の質問は使用しない。 0.68
In order to compare performance across different levels of clarifications we only consider examples where the model was able to generate at least one clarification from each level. 異なるレベルの明確化のパフォーマンスを比較するために、モデルが各レベルから少なくとも1つの明確化を生成できた例のみを考慮する。 0.78
To increase the number of viable examples we found it necessary to remove some restrictions relative to the implementation of (Shwartz et al , 2020). 実例の数を増やすためには、いくつかの制限を取り除く必要がある(Shwartz et al , 2020)。
訳抜け防止モード: 実例の数を増やす 我々は(Shwartz et al, 2020)の実装に関していくつかの制限を取り除く必要があるとわかった。
0.75
In particular, we kept all clarifications that had no overlapping words with the context and did not allow the model to chose the “no clarification” option. 特に、文脈と重複する単語を持たないすべての明確化を保ち、モデルが“非明確化”オプションを選択することを許さなかった。 0.72
Even with these constraints it was still often the case that distil-GPT2 could not generate a short clarification これらの制約にもかかわらず、 distil-GPT2 が短い明確化を達成できない場合が多かった。 0.64
英語(論文から抽出)日本語訳スコア
sentence that was plausible enough to use whereas GPT-Neo was able to generate clarifications for almost the entire dataset. gpt-neoは、ほぼすべてのデータセットの明確化を生成することができた。 0.53
This indicates larger scale models may be more able to take advantage of clarifying questions. これは、より大規模なモデルがより明確な質問を活用できることを示している。 0.63
The number of examples with valid clarifications for all levels is indicated for each model in column 2 of Tab. タブの列2の各モデルに対して、すべてのレベルに対して有効な明確化を持つ例の数を示す。 0.71
2. These changes help us more accurately measure the impact of Bloom’s Taxonomy, but mean our approach is not directly comparable to Shwartz et al (2020). 2. これらの変化はブルームの分類学の影響をより正確に測定するのに役立ちますが、我々のアプローチはShwartz et al (2020)と直接比較するものではないということです。 0.72
4.3 Results Table 2 reports the performance of our Bloom’s Taxonomy infused zero-shot question answering method. 4.3 結果 表2はブルームの分類学のパフォーマンスを報告し、ゼロショットの質問応答法を注入した。 0.64
Each row shows question answering accuracy for a particular dataset and level of clarification. 各行は、特定のデータセットの質問応答精度とレベルを明確にする。 0.81
If our hypothesis is correct then the level of available clarifications should matter and clarifications that provide proximal context –one level below the dataset level– should be most helpful. 我々の仮説が正しければ、利用可能な明確化のレベルが重要であり、データセットのレベルより1レベル下にある近況を提供する明確化が最も有用である。 0.61
Clarification Level Makes a Difference. 明確化レベルが違います。 0.65
All levels of clarification questions and answers provide some amount of extra information that changes how a language model processes the entire string it is presented with. あらゆるレベルの明確化の質問と回答は、言語モデルが提示される文字列全体をどのように処理するかを変える余分な情報を提供する。 0.77
This is often helpful information, but it may be that all levels of Bloom’s Taxonomy provide equally useful information. これはしばしば有用な情報であるが、ブルームの分類の全てのレベルが等しく有用な情報を提供するのかもしれない。 0.61
We find that is not the case. 私たちはそうは思いません。 0.56
Different levels of clarification help more or less, as evidenced by the large gap between minimum and maximum accuracy for each dataaset. 各データセットの最小値と最大値の間の大きなギャップによって証明されているように、明確化のレベルは多かれ少なかれ異なる。 0.67
Furthermore, when the model can choose any clarification (rows 0A/B/C/D) it either does a worse job than proximal context or its performance similar to proximal context, so enforcing a particular kind of context should be helpful. さらに、モデルが任意の明確化(行0a/b/c/d)を選択できる場合、近位コンテキストよりも悪いジョブや、近位コンテキストと同じようなパフォーマンスを行なえます。 0.65
Proximal Context Helps Most. Proximal Contextは最も役に立ちます。 0.50
Proximal context, as we’ve defined it with respect to Bloom’s Taxonomy is context from the clarification level directly below the dataset question level. Bloomの分類学に関して定義したように、近近的コンテキストは、データセットの質問レベル直下の明確化レベルからのコンテキストである。 0.69
The proximal clarification level for each dataset is marked by a * in Tab. 各データセットの近距離の明確化レベルはタブの * でマークされる。 0.76
2. In all cases proximal clarifications are better than using clarifications of a lower level. 2. いずれの場合においても、近位の明確化は低いレベルの明確化を使うよりも良い。 0.70
For the datasets that ask level 3 questions the proximal (level 2) clarifications also outperform level 1 clarifications (2B/C/D greater than 1B/C/D). レベル3に質問するデータセットでは、近位(レベル2)の明確化はレベル1の明確化(2B/C/Dが1B/C/Dより大きい)よりも優れている。 0.53
Proximal clarifications are also about as good as or better than using clarifications of a higher level. 近位の明確化も、より高いレベルの明確化を使うのと同じくらい良いかまたは良い。 0.63
You can see this for Winogrande by noting row 1A is greater than 2A and for the other datasets by noting rows 2B/C/D usually have greater performance than 3B/C/D. winograndeでは、行1aが2a以上で、他のデータセットでは2b/c/dが3b/c/dよりもパフォーマンスが高い。 0.72
Overall, proximal context is most 概して 近近的文脈は 0.49
consistent in efficacy. 有効性に一貫性があります 0.43
4.4 Qualitative Results In Tab. 1 we show samples of question answer pairs generated for each model and in Tab. 4.4 質的結果。 1) 各モデルとタブで生成された質問応答ペアのサンプルを示す。 0.75
5 of the appendix we show complete examples (with context and choices) for each model and dataset. 付録の1.5では、各モデルとデータセットの完全な例(コンテキストと選択)を示します。 0.68
GPT-Neo is much larger than distil-GPT2 and is expected to generalize to slightly new tasks like the clarification generation task better than the smaller model. GPT-Neo は distil-GPT2 よりもはるかに大きく、より小さなモデルよりも明確化生成タスクのような少し新しいタスクに一般化されることが期待されている。 0.64
This expectation is clearly met by the observed quality of clarifications. この期待は明らかに明確化の観察品質に満たされている。 0.71
Distil-GPT2 clarification questions and answers often do not have meaningful semantics, are not correct, or are not relevant. Distil-GPT2 の明確化に関する質問や回答は意味のある意味論を持っていないことが多い。 0.70
GPT-Neo is much more likely to generate questions and answers which are meaningful, correct, and relevant. GPT-Neoは、意味があり、正しい、関連性のある質問や回答を生成する可能性がずっと高い。 0.67
This suggests the greater number of valid clarifications generated by GPT-Neo may be due to an increase in clarification quality. このことは、GPT-Neoによって生成される有効な明細書の数がより多いことは、明細書の質の向上による可能性があることを示唆している。 0.38
Furthermore, it fails in an intuitive fashion: when it fails to generate meaningful answers it often has also failed to generate a meaningful clarification question in the first place. さらに、それは直感的な方法で失敗する: 意味のある答えを生成できない場合、多くの場合、意味のある明確化の質問を生成できない。 0.71
Also note that the performance differences observed for distil-GPT2 occur despite its relatively poor interpretability. また, distil-GPT2 は比較的低い解釈性にもかかわらず性能差が認められた。 0.69
This indicates that context which is somewhat relevant to the topic even if it does not precisely make sense can still be useful. これは、たとえそれが正確でないとしても、トピックに何らかの関係のあるコンテキストが有用であることを示している。 0.55
5 Conclusion Large pre-trained language models sometimes have the right information, but they just do not know how to use it. 5 結論 大きな事前学習された言語モデルは、正しい情報を持っていることがあるが、その使い方を知らないだけである。
訳抜け防止モード: 5 結論 大規模な事前訓練された言語モデルには、時に適切な情報がある。 使い方を知らないだけです
0.70
We used Bloom’s taxonomy to pick questions with the right amount of proximal context. bloomの分類を使って、適切な量の近位文脈で質問を抽出しました。 0.58
This helped the language models use their knowledge to more effectively answer questions. このことは、言語モデルが自身の知識を使ってより効果的に質問に答えるのに役立った。 0.56
In the future we would like to extend our work on tasks that present a wide range of questions that fall under different levels of the taxonomy. 将来的には、分類学のさまざまなレベルに該当する幅広い質問を提示するタスクに関する作業を拡張したいと思っています。 0.71
Similarly, we also would like to study and improve upon the current limited set of prefix questions used. 同様に、現在使用されている限定的なプレフィックス質問についても研究し、改善したいと考えています。
訳抜け防止モード: 同様に 私たちは 使用するプレフィックス質問の現在の制限セットを学習し、改善する。
0.65
Acknowledgments The authors thank Yunye Gong, Stephanie Nunn, and the anonymous reviewers for the helpful discussions and comments. 承認 著者らはYunye Gong氏、Stephanie Nunn氏、そして匿名のレビュアーたちに、有益な議論とコメントを感謝している。 0.53
References L. Anderson, D. Krathwohl, and B. Bloom. 参照: L. Anderson, D. Krathwohl, B. Bloom。 0.85
2000. A taxonomy for learning, teaching, and assessing: A 2000. 学習、教育、評価のための分類学:a 0.77
英語(論文から抽出)日本語訳スコア
revision of bloom’s taxonomy of educational objectives. bloom's taxonomy of educational objectivesの改訂。 0.66
Emily M. Bender, Timnit Gebru, Angelina McMillanMajor, and Shmargaret Shmitchell. Emily M. Bender、Timnit Gebru、Angelina McMillanMajor、Shmargaret Shmitchell。 0.77
2021. On the dangers of stochastic parrots: Can language models be too big? 2021. 確率的オウムの危険性について:言語モデルは大きすぎるか? 0.77
Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. 公正・説明責任・透明性に関する2021年ACM会議の開催。 0.66
Sid Black, Leo Gao, Phil Wang, Connor Leahy, GPT-Neo: Large and Stella Biderman. Sid Black, Leo Gao, Phil Wang, Connor Leahy, GPT-Neo: Large and Stella Biderman 0.87
2021. scale autoregressive language modeling with meshtensorflow. 2021. meshtensorflowによる自動回帰型言語モデリング 0.80
B. Bloom. 1956. B.ブルーム。 1956. 0.79
Taxonomy of educational objectives: The classification of educational goals. 教育目的の分類: 教育目標の分類。 0.66
Antoine Bosselut, Ronan Le Bras, and Yejin Choi. Antoine Bosselut, Ronan Le Bras, Yejin Choi 0.63
2019a. Dynamic neuro-symbolic knowledge graph construction for zero-shot commonsense question answering. 2019年。 ゼロショットコモンセンス質問応答のための動的ニューロシンボリック知識グラフの構築 0.65
arXiv preprint arXiv:1911.03876. arXiv preprint arXiv:1911.03876 0.72
Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, and Yejin Choi. Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, Yejin Choi 0.71
2019b. Comet: Commonsense transformers for arXiv automatic knowledge graph construction. 2019年。 Comet: arXiv自動知識グラフ構築のためのCommonsense変換器。 0.72
preprint arXiv:1906.05317. arXiv:1906.05317 0.62
T. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, J. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel HerbertVoss, Gretchen Krueger, T. Henighan, R. Child, A. Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, J. Clark, Christopher Berner, Sam McCandlish, Ilya Sutskever, and Dario Amodei. T. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, J. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel HerbertVoss, Gretchen Krueger, T. Henighan, R. Child, A. Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateus Litwin, Scott Gray, Benjamin Chesss, J. Clark, Christopher Berner, McCandlish, Ialy Sutsk, Dario Amai 0.87
A. Radford, 2020. learners. a・ラドフォード 2020年 学習者 0.71
ArXiv, abs/2005.14165. ArXiv, abs/2005.14165。 0.61
Language models are few-shot 言語モデルはほとんどない 0.86
Kevin Clark, Minh-Thang Luong, Quoc V Le, and Christopher D Manning. Kevin Clark、Minh-Thang Luong、Quoc V Le、Christopher D Manning。 0.79
2020. Electra: Pre-training text encoders as discriminators rather than generators. 2020. Electra: ジェネレータではなく、識別器としてテキストエンコーダを事前訓練する。 0.67
arXiv preprint arXiv:2003.10555. arXiv preprint arXiv:2003.10555 0.72
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova 0.76
2018. Bert: Pre-training of deep bidirectional transformers for language understanding. 2018. Bert: 言語理解のための双方向トランスフォーマーの事前トレーニング。 0.82
arXiv preprint arXiv:1810.04805. arXiv preprint arXiv:1810.04805 0.71
Jesse Dunietz, Greg Burnham, Akash Bharadwaj, Jennifer Chu-Carroll, Owen Rambow, and D. Ferrucci. Jesse Dunietz、Greg Burnham、Akash Bharadwaj、Jennifer Chu-Carroll、Owen Rambow、D. Ferrucci。 0.86
2020. To test machine comprehension, start by defining comprehension. 2020. 機械の理解をテストするには、理解を定義することから始める。 0.70
In ACL. Stephanie Harvey and Anne Goudvis. ACL。 Stephanie HarveyとAnne Goudvis。 0.69
2007. Strategies that work: Teaching comprehension for understanding and engagement. 2007. 働く戦略:理解と関与のための理解を教えること。 0.83
Stenhouse Publishers. Stenhouse Publishers所属。 0.82
Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov。 0.80
2019. Roberta: A robustly optimized bert pretraining approach. 2019. roberta: 堅牢に最適化されたbertプリトレーニングアプローチ。 0.73
arXiv preprint arXiv:1907.11692. arXiv preprint arXiv:1907.11692 0.72
Gary Marcus and Ernest Davis. ゲイリー・マーカスとアーネスト・デイヴィス 0.56
2020. Gpt-3, bloviator: Openai’s language generator has no idea what it’s talking about. 2020. Gpt-3, bloviator: Openaiの言語ジェネレータは、それが何を言っているのか分からない。 0.82
MIT Technology Review. MIT Technology Review(英語) 0.71
Debbie Miller. 2002. デビー・ミラー。 2002. 0.65
Reading with meaning: Teaching comprehension in the primary grades. 意味で読む:初等教育における理解を教えること。 0.70
Stenhouse Publishers. Stenhouse Publishers所属。 0.82
Manal Mohammed and N. Omar. マナル・モハメドとn・オマール 0.43
2020. Question classification based on bloom’s taxonomy cognitive domain using modified tf-idf and word2vec. 2020. 修飾tf-idfとword2vecを用いたブルーム分類認知ドメインに基づく質問分類 0.84
PLoS ONE, 15. PLOS ONE, 15。 0.77
Fatema Nafa, S. Othman, and J. Khan. Fatema Nafa、S. Othman、J. Khan。 0.83
2016. Automatic concepts classification based on bloom’s taxonomy using text analysis and the na¨ıve bayes classifier method. 2016. テキスト解析を用いたブルーム分類に基づく自動概念分類法とナ・ジューヴ・ベイズ分類法 0.81
In CSEDU. D. Oliver, Tony Dobele, Myles Greber, and Tim S. Roberts. CSEDU所属。 D.Oliver、Tony Dobele、Myles Greber、Tim S. Roberts。 0.73
2004. This course has a bloom rating of 3.9. 2004. このコースの開花率は3.9である。 0.79
In ACE. Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. ACE。 マシュー・ピーターズ、マーク・ノイマン、モヒト・アイイヤー、マット・ガードナー、クリストファー・クラーク、ケントン・リー、ルーク・ゼトルモイヤー。 0.56
2018. Deep contextualized word representations. 2018. 文脈化された単語表現。 0.69
In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 2227– 2237. 2018年北米計算言語学会(英語版)の北米支部会議(英語版)において、人間言語技術、巻1(長文)、巻2227-2237。 0.63
Fabio Petroni, Tim Rockt¨aschel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, Alexander H Miller, and Sebastian Riedel. ファビオ・ペトロニ、ティム・ロスト・シャシェル、パトリック・ルイス、アントン・バクティン、ユシアン・ウー、アレクサンドル・ミラー、セバスチャン・リーデル。
訳抜け防止モード: Fabio Petroni, Tim Rockt saschel, Patrick Lewis, Anton Bakhtin Yuxiang Wu、Alexander H Miller、Sebastian Riedel。
0.76
2019. Language models as knowledge bases? 2019. 知識ベースとしての言語モデル? 0.78
arXiv preprint arXiv:1909.01066. arXiv preprint arXiv:1909.01066 0.72
Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever 0.73
2019. Language models are unsupervised multitask learners. 2019. 言語モデルは教師なしマルチタスク学習者である。 0.72
OpenAI blog, 1(8):9. OpenAIブログ、1(8):9。 0.81
Melissa Roemmele, Cosmin Adrian Bejan, and Andrew S Gordon. Melissa Roemmele、Cosmin Adrian Bejan、Andrew S Gordon。 0.70
2011. Choice of plausible alternatives: An evaluation of commonsense causal reasonIn AAAI Spring Symposium: Logical Formaling. 2011. 妥当な代替案の選択: aaai spring symposium: logical formaling における共通意味因果推論の評価 0.81
izations of Commonsense Reasoning, pages 90–95. Commonsense Reasoning、90-95頁。 0.62
Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. 坂口敬介、ロナン・ル・ブラス、チャンドラ・バガヴァトゥラ、エジン・チョイ。 0.43
2020. Winogrande: An adversarial winograd schema challenge at scale. 2020. Winogrande: スケールの逆のWinogradスキーマの問題です。 0.81
In Proceedings of the AAAI Conference on Artificial Intelligence, volume 34-05, pages 8732–8740. The Proceedings of the AAAI Conference on Artificial Intelligence, Volume 34-05, page 8732–8740。 0.87
Mandar Joshi, Kenton Lee, Yi Luan, and Kristina Toutanova. Mandar Joshi、Kenton Lee、Yi Luan、Kristina Toutanova。 0.64
2020. Contextualized representations using textual encyclopedic knowledge. 2020. テキスト百科事典知識を用いた文脈表現 0.76
arXiv preprint arXiv:2004.12006. arXiv preprint arXiv:2004.12006 0.71
Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Victor Sanh、Lysandre Debut、Julien Chaumond、Thomas Wolf。 0.69
2019. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. 2019. ディチルバート(ditilbert)は、より小さく、速く、安く、より軽量の蒸留酒である。 0.70
ArXiv, abs/1910.01108. ArXiv, abs/1910.01108。 0.59
英語(論文から抽出)日本語訳スコア
Maarten Sap, Hannah Rashkin, Derek Chen, Ronan Le Bras, and Yejin Choi. Maarten Sap, Hannah Rashkin, Derek Chen, Ronan Le Bras, Yejin Choi 0.69
2019. Social iqa: Commonsense reasoning about social interactions. 2019. ソーシャル iqa: 社会的相互作用に関する常識的推論。 0.79
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 4453– 4463. The 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), page 4453–4463。 0.80
Vered Shwartz, Peter West, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Vered Shwartz, Peter West, Ronan Le Bras, Chandra Bhagavatula, Yejin Choi 0.69
2020. Unsupervised commonsense question answering with self-talk. 2020. セルフトークによる教師なしのコモンセンス質問応答。 0.60
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 4615–4629. 自然言語処理における経験的手法(emnlp)に関する2020年会議の議題4615-4629頁。 0.71
Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. Alon Talmor、Jonathan Herzig、Nicholas Lourie、Jonathan Berant。 0.65
2019. Commonsenseqa: A question answering challenge targeting commonsense knowledge. 2019. commonsenseqa: commonsenseの知識をターゲットとした質問応答チャレンジ。 0.79
In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4149–4158. The 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 4149–4158。 0.77
E. Thompson, Andrew Luxton-Reilly, J. Whalley, M. Hu, and Phil Robbins. E. Thompson、Andrew Luxton-Reilly、J. Whalley、M. Hu、Phil Robbins。 0.90
2008. Bloom’s taxonomy for cs assessment. 2008. bloom's taxonomy for cs assessment (英語) 0.79
In ACE ’08. J. Whalley, R. Lister, E. Thompson, T. Clear, Phil Robbins, P. Kumar, and C. Prasad. ACE ’08。 J. Whalley, R. Lister, E. Thompson, T. Clear, Phil Robbins, P. Kumar, C. Prasad 0.77
2006. An australasian study of reading and comprehension skills in novice programmers, using the bloom and solo taxonomies. 2006. 初級プログラマの読みと理解能力に関するオーストラリア人の研究 : ブルームとソロの分類学を用いて
訳抜け防止モード: 2006. 初心者プログラマの読解力と理解力に関するオーストラリア人研究 bloom と solo taxonomies を使っています
0.81
James Zhang, Casey Wong, Nasser Giacaman, and Andrew Luxton-Reilly. James Zhang、Casey Wong、Nasser Giacaman、Andrew Luxton-Reilly。 0.74
2021. Automated classification of computing education questions using bloom’s taxonomy. 2021. bloomの分類を用いたコンピュータ教育問題の自動分類 0.77
Australasian Computing Education Conference. australasian computing education conference(英語) 0.70
A Prefixes and Examples In the appendix we provides more details about the question prefixes we used in Tab. 修正と例 付録では、タブで使用した質問プレフィックスについて詳しく説明します。 0.62
3 and provide more examples of outputs from our models in Tab. Tab.3では、モデルからのアウトプットのさらなる例を提供しています。 0.60
5. 5. 0.85
英語(論文から抽出)日本語訳スコア
Table 3: All the prefix questions with its corresponding taxonomy level used in our zero shot question answering evaluation. 表3: ゼロショット質問応答評価に使用される分類レベルに対応するすべてのプレフィックス質問について検討した。 0.71
Question Prefix What is the definition of What is the main purpose of What is the main function of a What are the properties of a What is a What happened as a result of What might have caused 質問プレフィックス What is the purpose of What is the main purpose of What is the main function of a What is the properties of a What is a What was a result of What may caused 0.71
Answer Prefix Answer Prefix 0.85
CommonsenseQA & COPA CommonsenseQAとCOPA 0.77
The definition of The purpose of The main function of a is The properties of a are that a の主関数の目的の定義は、a の特性である。 0.64
is is to is is to ... 0.50
is What will [NAME] want to do next? は 次に何をしたいのか. 0.58
What will [NAME] want to do after? NAMEはその後何をしたいのですか。 0.67
How would [NAME] feel afterwards? その後はどう感じますか. 0.44
How would [NAME] feel as a result? 結果として[名前が]どう感じるだろうか. 0.69
How would [NAME] feel after? 名前はあとでどう感じるか. 0.44
How would you describe [NAME]? あなたは[NAME]をどう説明しますか? 0.63
What kind of person is [NAME]? 名前[名前]はどんな人ですか. 0.75
How would you describe [NAME] as a person? 人[名前]をどう表現しますか. 0.61
Why did [NAME] do that? なぜNAMEはそれをしたのですか。 0.69
Why did [NAME] do this? なぜNAMEはこんなことをしたのですか。 0.60
Why did [NAME] want to do this? なぜNAMEはこんなことをしたかったのですか。 0.66
What does [NAME] need to do beforehand? NAMEは事前に何をする必要があるのか? 0.69
What does [NAME] need to do before? 以前NAMEは何をする必要がありましたか。 0.63
What does [NAME] need to do before this? この前にNAMEは何をする必要があるのか? 0.70
What did [NAME] need to do before this? この前にNAMEは何をする必要がありましたか。 0.63
What will happen to [NAME]? 名前[名前]はどうなるのか. 0.63
What will happen to [NAME] next? 次にNAMEはどうなるのか? 0.55
What will [NAME] do next? What did [NAME] do? 次に何をしますか. NAMEは何をしたのですか。 0.55
What is the definition of What is the main purpose of What is the main function of a What are the properties of a What is What does it mean to What is the definition of What is the main purpose of What is the main function of a What is the properties of a What is What to to? 0.80
As a result of , The cause of was 原因は「原因」である。 0.52
SocialIQA NAME] wanted [NAME] wanted [NAME] felt [NAME] felt [NAME] felt [NAME] is a [NAME] is a [NAME] is a [NAME] did this because they wanted [NAME] did this because they wanted [NAME] did this because they wanted Before doing that, [NAME] first had to Before doing that, [NAME] first had to Before doing that, [NAME] first had to Before doing that, [NAME] first had to [NAME] [NAME] [NAME] What [NAME] did was SocialIQA NAME] want [NAME] wanted [NAME] felt [NAME] felt [NAME] feel [NAME] is a [NAME] is a [NAME] is a [NAME] is a [NAME] is a [NAME] is a [NAME] is a [NAME] is a [NAME] did this because they wanted [NAME] wanted [NAME] wanted, [NAME] began to before before before, [NAME] first to before before, [NAME] first should to before before, [NAME] first to [NAME] first to [NAME] [NAME] what [NAME] was NAME] 0.82
Winogrande The definition of The purpose of The main function of a is The properties of a are that Winogrande a の主な関数の目的の定義は、a の特性である。 0.68
is is to is is to ... 0.50
is means Bloom’s Taxonomy Level 意味は Bloom (複数形 Blooms) 0.63
1 2 2 1 1 3 3 1 2 2 1 1 3 3 0.85
3 3 3 3 3 2 2 2 3 3 3 2 2 2 2 3 3 3 1 3 3 3 3 3 2 2 2 3 3 3 2 2 2 2 3 3 3 1 0.85
1 2 2 1 1 2 1 2 2 1 1 2 0.85
英語(論文から抽出)日本語訳スコア
Table 4: Example contexts, questions, choices, clarification questions and clarification answers for each dataset. 表4:各データセットのコンテキスト、質問、選択、明確化質問、明確化回答の例。 0.80
We present results for both Distil-GPT2 and GPT-Neo. In this present results for both Distil-GPT2 and GPT-Neo。 0.63
COPA (Context, Question, Choice) C:The man turned on the faucet. COPA (文脈、質問、選択)C:男は蛇口をつけた。 0.72
Q: effect Ch: [The toilet filled with water., q: 効果 ch: [水で満たされたトイレ] 0.77
Water flowed from the spout.] 噴流から水が流れた] 0.68
C: The woman retired. C: 引退した女性。 0.84
Q: effect Ch: [She received her pension., She paid off her mortgage.] Q:エフェクト・チェン: [彼女は年金を受け取り、住宅ローンを支払った] 0.65
C: I wanted to conserve energy. C: エネルギーを節約したいと思いました。 0.65
Q: effect Ch: [I swept the floor in the unoccupied room., q: 効果 ch: [私は居ない部屋で床を掃除しました] 0.71
I shut off the light in the unoccupied room.] 空いている部屋の明かりを消しました 0.40
Winogrande (Sentence, Context, Choice) S: The home that my parents had when I was in school was a lot nicer than my house now because the was sophisticated. ウィノグランデ (文、文脈、選択)S:私の両親が学校で持っていた家は今、洗練されたので、私の家よりもずっと優しかった。 0.56
C: home Ch: [home, house] S: He had enough time between classes to go to a cafe or to the library. c: home ch: [home, house]s: カフェや図書館に行くのに、授業に十分な時間があった。 0.78
He went to the because his paper could wait. 彼は新聞が待つことができたのでその店に行った。 0.49
C: classes Ch: [cafe, library] S: They had to eat a lot to gain the strength they had lost and be able to work, the was too much. C: class Ch: [cafe, library] S: 失った力を手に入れるためには、多くの食事をしなければなりませんでした。
訳抜け防止モード: c : class ch : [ cafe, library ] s : 彼らは失くした力を得るためにたくさん食べ、働けるようにしなければならなかった。 あまりにも多すぎました。
0.84
C: strength Ch: [work, strength] c: 強さ ch: [仕事, 強さ] 0.88
SocialIQA (Context, Question, Choice) C: Kendall got a new sports car and could not wait to show friends. ソーシャルIQA (文脈、質問、選択)c:ケンドールは新しいスポーツカーを手に入れ、友人に見せるのを待つことができなかった。 0.64
Q: What will Kendall want to do next? Q: Kendallは次に何をしたいのですか? 0.79
Ch: [drive that sports car, show off his new sports car, clean and wax her legs] C: Kendall was really into house plants and often pour water in to jars so the fluoride would evaporate out. スポーツカーを運転して、彼の新しいスポーツカーを披露し、足をきれいにし、ワックスを流す]C: ケンドールは本当に家庭の植物の中にいて、しばしばフッ化物が蒸発するように瓶に水を注いでいた。
訳抜け防止モード: Ch:[スポーツカーを運転し、新しいスポーツカーを披露し、足をきれいにしてワックスする]C ケンドールは本当に家の中にいて、しばしばフッ素が蒸発するように瓶に水を注いでいた。
0.71
Q: What will Kendall want to do next? Q: Kendallは次に何をしたいのですか? 0.79
Ch: [watered a few of the plants, gather jars, watered a few of her pets] C: Remy gave birth to a baby girl on a Saturday afternoon. C: レミーは土曜日の午後に赤ちゃんを出産しました。
訳抜け防止モード: Ch : [いくつかの植物に水をまき、瓶を集めます。 ペットに水をまいた] C: レミーは土曜日の午後に女児を出産した。
0.78
Q: What does Remy need to do before this? Q: Remyはこの前に何をする必要があるのでしょう? 0.80
Ch: [leave her husband, did this to start a family, go to the hospital] ch: [夫を残して 家族を産んで 病院へ] 0.44
CommonsenseQA CommonsenseQA 0.85
(Context, Question, Choice) C: In what Spanish speaking North American country can you get a great cup of coffee? (文脈、質問、選択)c: スペイン語で北米の国を話すと、素晴らしいコーヒーが飲めますか? 0.68
Q: cup of coffee Ch: [mildred’s coffee shop, mexico, diner, kitchen, canteen] C: Unlike a spider and his many sight seers, people only have what? q:コーヒーのカップ ch:[mildred’s coffee shop, mexico, diner, kitchen, canteen]c: クモや多くの目撃者と違って、人々は何かを持っているだけ? 0.83
Q: people Ch: [tongues, names, brains, feelings, two eyes] C: The artist was sitting quietly pondering, then suddenly he began to paint when what struck him? q:ピープル ch: [トング、名前、脳、感情、2つの目] c: アーティストは静かに座って熟考し、そして突然、何にぶつかって絵を描き始めましたか? 0.70
Q: sitting quietly Ch: [sadness, anxiety, inspiration, discomfort, insights] q:静かに座って ch: [sadness, anxiety, inspiration, discomfort, insights] 0.86
Generated Clarifications Distil-GPT2 Q: What might have caused it to be so hot? 創発的解明 distil-gpt2 q:なぜそんなに熱くなったのか? 0.60
A: The cause of it to be so hot was that he would have a big fire in his face and then immediately had an explosion, which killed all but one person. a: あまりに熱かったのは、顔に大きな火を負い、すぐに爆発し、1人を除いて全員が死亡したためです。
訳抜け防止モード: a: あまりに熱かったのは、彼の顔に大きな火があったからである。 そしてすぐに爆発が起こり、1人を除いて全員死亡した。
0.79
Q: What happened as a result of this? Q: 結果として何が起こったのでしょう? 0.84
A: As a result of this, the government has announced that it will pay Rs 7 crore to her family for compensation and legal expenses related thereto as part-time payments. a: この結果、政府はパートタイムの支払いとして、家族に補償と法的費用としてrs7クローアを支払うと発表した。 0.62
Q: What is the main function of a plant? Q: 植物の主な機能は何ですか? 0.78
A: The main function of a plant is the growth and maintenance of nutrients, so that we can increase our food intake by 10% or more per year, he said. a: 植物の主な機能は栄養素の成長と維持であり、食物の摂取を年間10%以上増加させることができる。 0.65
GPT-Neo Q: What happened as a result of that? GPT-Neo Q: 結果として何が起こったのでしょう? 0.73
A: As a result of that, he was forced to drink water. a: その結果、彼は水を飲むことを余儀なくされました。 0.82
Q: What happened as a result of her retirement? Q: 退職後に何が起こったのですか? 0.72
A: As a result of her retirement, she had been receiving a pension for life. a: 退職の結果として、彼女は生涯年金を受け取っていました。 0.72
Q: What might have caused this? Q: 原因は何だったのでしょう? 0.79
A: The cause of this was the lack of electricity in my home. a: 原因は、家の電気が不足していることでした。 0.80
Distil-GPT2 Distil-GPT2 0.47
Generated Clarifications GPT-Neo 創発的解明 GPT-Neo 0.54
Q: What is the main function of a building? Q: 建物の主な機能は何ですか? 0.78
A: The main function of a building is to keep people happy and healthy. A: 建物の主な機能は、人々を幸せで健康に保つことです。 0.82
Q: What are the properties of a home? Q: 家の特性は何ですか? 0.75
A: he properties of a home are that which makes it comfortable and pleasant for the occupants. a: 彼の家の特性は、居住者にとって快適で快適なものである。 0.79
Q: What is the definition of a book? Q: 本の定義は何ですか? 0.76
A: The definition of a book is an article written in order for it be read. A:本の定義は読むために書かれた記事です。 0.59
Q: What is the definition of cafe? q: cafeの定義は何ですか? 0.87
A: cafe is defined as a place where people gather for refreshment. A: カフェは人々がリフレッシュのために集まる場所として定義される。 0.73
Q: What is the main function of a good diet? q:良い食事の主な機能は何ですか? 0.74
A: The main function of a good diet is not for food or health but also on exercise. A:良い食事の主な機能は、食事や健康だけでなく、運動にも役立ちます。 0.72
Q: What is the definition of strength? Q: 強度の定義は何ですか? 0.86
A: strength is defined as : having power or ability to do something. A: 強さは:何かを行う力または能力を持つ。 0.80
Distil-GPT2 Distil-GPT2 0.47
Generated Clarifications GPT-Neo 創発的解明 GPT-Neo 0.54
Q: Why did Kendall want to do this? Q: Kendall氏はなぜこれをしたかったのですか? 0.74
A: Kendall did this because they wanted her, too. A: Kendallも彼女を欲しがっていたからです。 0.81
Q: What will Kendall want to do next? Q: Kendallは次に何をしたいのですか? 0.79
A: Kendall wanted to impress them with his new ride.” a: ケンドールは新しい乗り物で彼らを感動させたかった。 0.57
Q: Why did Kendall do that? q: ケンドールはなぜそんなことを? 0.59
A: Kendall did this because they wanted him at home, he said. A: ケンドールは自宅で彼を欲しがったからだ、と氏は言う。 0.54
Q: Why did Kendall do this? Q: Kendall氏はなぜこんなことをしたのですか? 0.59
A: Kendall did this because they wanted to get a lot of water for their plants. a:kendallがやったのは、植物に大量の水をやりたかったからだ。 0.70
Q: What did Remy need to do before this? q: 以前、remyは何をすべきでしたか? 0.78
A: Before doing that, Remy first had to tell her he was too old. a: その前に、レミーはまず自分は年を取りすぎていると話さなければならなかった。 0.51
Q: What does Remy need to do before? Q: Remyはこれまで何が必要でしたか? 0.85
A: Before doing that, Remy first had to go to the hospital to deliver her baby. a: その前に、レミーはまず彼女の赤ちゃんを届けるために病院に行かなければならなかった。 0.67
Distil-GPT2 Distil-GPT2 0.47
Q: What is the definition of coffee? Q: コーヒーの定義は何ですか? 0.86
A: The definition of coffee is the word that comes from Latin for espresso. A: コーヒーの定義はラテン語でエスプレッソを意味する単語である。 0.77
Generated Clarifications GPT-Neo 創発的解明 GPT-Neo 0.54
Q: What is the definition of mexico? Q: メキシコの定義は何ですか? 0.86
A: mexico is defined as the country that produces the best coffee. A: メキシコは最高のコーヒーを生産する国として定義される。 0.82
Q: What is the main purpose of this article? Q: この記事の主な目的は何ですか? 0.86
A: The purpose of this article is to explain the basic characteristics that are characteristic of spiders. A:本論文の目的はクモの特徴である基本的な特徴を説明することである。 0.83
Q: What is the definition of two eyes? Q: 2つの目の定義は何ですか? 0.82
A: two eyes is defined as the organs by which we see. A: 2つの目は私たちが見る器官として定義される。 0.74
Q: What is a man who can do that? q:それができるのはどういう人ですか。 0.72
A: Man who can do that is a really great painter. A:それをできる人は本当に素晴らしい画家です。 0.73
Q: What is the definition of inspiration? Q: インスピレーションの定義は何ですか? 0.76
A: inspiration is defined as a sudden flash of inspiration that comes from within. A: インスピレーションは、インスピレーションの突然のフラッシュとして定義されます。 0.66
                   ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。