論文の概要: Can language models learn from explanations in context?

• arxiv url: http://arxiv.org/abs/2204.02329v1
• Date: Tue, 5 Apr 2022 16:33:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 13:12:36.651270
• Title: Can language models learn from explanations in context?
• Title（参考訳）: 言語モデルは文脈の説明から学ぶことができるか?
• Authors: Andrew K. Lampinen, Ishita Dasgupta, Stephanie C. Y. Chan, Kory Matthewson, Michael Henry Tessler, Antonia Creswell, James L. McClelland, Jane X. Wang, and Felix Hill
• Abstract要約: 大規模言語モデルは、いくつかのコンテキスト内例に適応することで、新しいタスクを実行することができる。 人間にとって、例からの素早い学習は、例とタスク原則を結びつける説明の恩恵を受けることができる。 少数例の説明によって言語モデルがより効果的に適応できるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 21.67788893486215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models can perform new tasks by adapting to a few in-context examples. For humans, rapid learning from examples can benefit from explanations that connect examples to task principles. We therefore investigate whether explanations of few-shot examples can allow language models to adapt more effectively. We annotate a set of 40 challenging tasks from BIG-Bench with explanations of answers to a small subset of questions, as well as a variety of matched control explanations. We evaluate the effects of various zero-shot and few-shot prompts that include different types of explanations, instructions, and controls on the performance of a range of large language models. We analyze these results using statistical multilevel modeling techniques that account for the nested dependencies among conditions, tasks, prompts, and models. We find that explanations of examples can improve performance. Adding untuned explanations to a few-shot prompt offers a modest improvement in performance; about 1/3 the effect size of adding few-shot examples, but twice the effect size of task instructions. We then show that explanations tuned for performance on a small validation set offer substantially larger benefits; building a prompt by selecting examples and explanations together substantially improves performance over selecting examples alone. Hand-tuning explanations can substantially improve performance on challenging tasks. Furthermore, even untuned explanations outperform carefully matched controls, suggesting that the benefits are due to the link between an example and its explanation, rather than lower-level features of the language used. However, only large models can benefit from explanations. In summary, explanations can support the in-context learning abilities of large language models on
• Abstract（参考訳）: 大規模言語モデルは、いくつかのコンテキスト内例に適応することで、新しいタスクを実行することができる。 人間にとって、例からの迅速な学習は、例とタスク原則を結びつける説明の恩恵を受ける。 そこで本研究では,少数例の説明によって言語モデルがより効果的に適応できるかどうかを検討する。 我々は,BIG-Benchの課題40のセットに,質問のサブセットに対する回答の説明と,一致したさまざまな制御説明を加えて注釈付けする。 本研究では,多種多様な説明,指示,制御を含むゼロショットおよび少数ショットのプロンプトが,多種多様な言語モデルの性能に与える影響を評価する。 条件,タスク,プロンプト,モデル間のネスト依存性を考慮した統計的マルチレベルモデリング手法を用いて,これらの結果を分析する。 例の説明がパフォーマンスを向上できることが分かりました。 数ショットのプロンプトに修正されていない説明を追加することで、パフォーマンスがわずかに向上する。 次に、小検証セットのパフォーマンスに調整された説明は、かなり大きな利点をもたらすことを示し、例と説明を一緒に選択することでプロンプトを構築することで、例のみを選択するよりもパフォーマンスを大幅に改善する。 ハンドチューニングの説明は、困難なタスクのパフォーマンスを大幅に改善する。 さらに、トレーニングされていない説明でさえ、注意深くマッチした制御よりも優れており、その利点は、使用される言語の低レベルな特徴よりも、例と説明とのリンクによるものであることを示唆している。 しかし、大きなモデルだけが説明の恩恵を受けることができる。 要約すると、説明は大規模言語モデルの文脈内学習能力をサポートすることができる。

関連論文リスト

• Show Me How It's Done: The Role of Explanations in Fine-Tuning Language Models [0.45060992929802207]
  言語モデルの性能を向上させるために,説明付き微調整を用いることによる重要な利点を示す。 私たちは、6000万のパラメータしか持たない小さな言語モデルでさえ、このアプローチからかなり恩恵を受けていることに気付きました。
  論文  参考訳（メタデータ） (2024-02-12T10:11:50Z)
• Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning [50.00090601424348]
  大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。 我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
  論文  参考訳（メタデータ） (2023-11-13T06:13:38Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Structured Prompting: Scaling In-Context Learning to 1,000 Examples [78.41281805608081]
  長さ制限を破り、文脈内学習を数千の例に拡張する構造化プロンプトを導入する。 具体的には、デモ例は、適切に設計された位置埋め込みで別々にエンコードされ、その後、再スケールされた注意機構を使用してテスト例に共同で出席する。
  論文  参考訳（メタデータ） (2022-12-13T16:31:21Z)
• Complementary Explanations for Effective In-Context Learning [77.83124315634386]
  大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。 この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
  論文  参考訳（メタデータ） (2022-11-25T04:40:47Z)
• Reordering Examples Helps during Priming-based Few-Shot Learning [6.579039107070663]
  PERO は 10 個の例から効率よく一般化できることを示す。 提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
  論文  参考訳（メタデータ） (2021-06-03T11:02:36Z)
• Evaluating Explanations: How much do explanations from the teacher aid students? [103.05037537415811]
  本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。 説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
  論文  参考訳（メタデータ） (2020-12-01T23:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。