論文の概要: Are Emergent Abilities in Large Language Models just In-Context Learning?

• arxiv url: http://arxiv.org/abs/2309.01809v1
• Date: Mon, 4 Sep 2023 20:54:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 17:12:02.577455
• Title: Are Emergent Abilities in Large Language Models just In-Context Learning?
• Title（参考訳）: 大規模言語モデルの創発的能力は、文脈内学習にのみ存在するか?
• Authors: Sheng Lu and Irina Bigoulaeva and Rachneet Sachdeva and Harish Tayyar Madabushi and Iryna Gurevych
• Abstract要約: 我々は、600万から1750億のパラメータを含む18の大規模言語モデルの厳密なテストを行う。 創発的能力は、主に文脈内学習に比定できるという説得力のある証拠を提供する。 推論能力の出現の証拠は見つからないので、観察能力を駆動するメカニズムについて貴重な洞察を与えることができる。
• 参考スコア（独自算出の注目度）: 49.953278344511695
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models have exhibited emergent abilities, demonstrating exceptional performance across diverse tasks for which they were not explicitly trained, including those that require complex reasoning abilities. The emergence of such abilities carries profound implications for the future direction of research in NLP, especially as the deployment of such models becomes more prevalent. However, one key challenge is that the evaluation of these abilities is often confounded by competencies that arise in models through alternative prompting techniques, such as in-context learning and instruction following, which also emerge as the models are scaled up. In this study, we provide the first comprehensive examination of these emergent abilities while accounting for various potentially biasing factors that can influence the evaluation of models. We conduct rigorous tests on a set of 18 models, encompassing a parameter range from 60 million to 175 billion parameters, across a comprehensive set of 22 tasks. Through an extensive series of over 1,000 experiments, we provide compelling evidence that emergent abilities can primarily be ascribed to in-context learning. We find no evidence for the emergence of reasoning abilities, thus providing valuable insights into the underlying mechanisms driving the observed abilities and thus alleviating safety concerns regarding their use.
• Abstract（参考訳）: 大規模言語モデルは創発的な能力を示しており、複雑な推論能力を必要とするものを含め、明示的に訓練されていない様々なタスクで例外的なパフォーマンスを示している。 このような能力の出現は、特にそのようなモデルの展開がより広まるにつれて、NLPにおける研究の今後の方向性に大きな影響を与える。 しかし、一つの重要な課題は、これらの能力の評価は、モデルがスケールアップされるにつれて現れる、コンテキスト内学習や命令追従といった代替的なプロンプト技術によってモデルで生じる能力によって、しばしば合致していることである。 本研究では,これらの創発的能力の包括的検証を行い,モデル評価に影響を与える様々な要因について考察する。 我々は18のモデルの集合に対して厳密なテストを行い、パラメータは600万から1750億のパラメータで、22のタスクの集合を包含する。 1000以上の実験を通じて、創発的能力が主にコンテキスト内学習に寄与することを示す説得力のある証拠を提供する。 推論能力の出現の証拠は見つからないため、観察能力を駆動するメカニズムについて貴重な洞察を与え、それらの使用に関する安全性の懸念を軽減することができる。

関連論文リスト

• Can Language Models Learn to Skip Steps? [59.84848399905409]
  我々は推論においてステップをスキップする能力について研究する。 効率を高めたり認知負荷を減らすためのステップをスキップする人間とは異なり、モデルはそのようなモチベーションを持っていない。 私たちの研究は、人間のようなステップスキッピング能力に関する最初の調査である。
  論文  参考訳（メタデータ） (2024-11-04T07:10:24Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Auxiliary task demands mask the capabilities of smaller language models [2.938889003635811]
  タスク要求が大きい評価手法は、要求の少ない評価よりも性能が低いことを示す。 この結果から,LM性能はインテリジェンスの直接的な表示として解釈するべきではないことが示唆された。
  論文  参考訳（メタデータ） (2024-04-03T02:56:52Z)
• Physics of Language Models: Part 3.2, Knowledge Manipulation [51.68385617116854]
  本稿では,4つの基本的な知識操作タスクについて検討する。 言語モデルは知識検索に優れるが、最も単純な分類や比較タスクにも耐え難い。 また, GPT-4のような近代的な事前学習言語モデルにも適用できる。
  論文  参考訳（メタデータ） (2023-09-25T17:50:41Z)
• Diffusion Language Models Can Perform Many Tasks with Scaling and Instruction-Finetuning [56.03057119008865]
  拡散言語モデルを拡張することで、強力な言語学習者が効果的に学習できることが示される。 大規模データから知識を最初に取得することで,大規模に有能な拡散言語モデルを構築する。 実験により、拡散言語モデルのスケーリングは、下流言語タスクにおけるパフォーマンスを一貫して改善することが示された。
  論文  参考訳（メタデータ） (2023-08-23T16:01:12Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Define, Evaluate, and Improve Task-Oriented Cognitive Capabilities for Instruction Generation Models [5.975913042883176]
  最近の研究は、人間のために設計された心理学的テストを通して言語モデルの認知能力を研究する。 我々は、言語モデルがタスクを実行するために利用する人間のような認知能力であるタスク指向認知能力を定式化する。
  論文  参考訳（メタデータ） (2022-12-21T04:43:19Z)
• ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
  ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。 ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。 言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
  論文  参考訳（メタデータ） (2022-12-16T05:15:41Z)
• Overcoming Barriers to Skill Injection in Language Modeling: Case Study in Arithmetic [14.618731441943847]
  我々は,言語モデルが言語能力を維持しつつ数学的に熟練することを可能にする新しい枠組みを開発する。 具体的には、言語モデルに非言語的スキルを注入しながら発生する言語スキルの破滅的な忘れを克服するために、情報理論の介入を提供する。
  論文  参考訳（メタデータ） (2022-11-03T18:53:30Z)
• What Artificial Neural Networks Can Tell Us About Human Language Acquisition [47.761188531404066]
  自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
  論文  参考訳（メタデータ） (2022-08-17T00:12:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。