論文の概要: Larger language models do in-context learning differently

• arxiv url: http://arxiv.org/abs/2303.03846v1
• Date: Tue, 7 Mar 2023 12:24:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 15:33:35.432136
• Title: Larger language models do in-context learning differently
• Title（参考訳）: 大規模言語モデルでは文脈内学習が異なる
• Authors: Jerry Wei and Jason Wei and Yi Tay and Dustin Tran and Albert Webson and Yifeng Lu and Xinyun Chen and Hanxiao Liu and Da Huang and Denny Zhou and Tengyu Ma
• Abstract要約: 言語モデルにおけるインコンテキスト学習(ICL)は、セマンティックな事前とインプット・ラベルのマッピングの影響を受けます。 ラベルをフリップしたICLと意味的無関係なラベルを持つICLの2つのセットアップについて検討した。
• 参考スコア（独自算出の注目度）: 93.90674531127559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how in-context learning (ICL) in language models is affected by semantic priors versus input-label mappings. We investigate two setups-ICL with flipped labels and ICL with semantically-unrelated labels-across various model families (GPT-3, InstructGPT, Codex, PaLM, and Flan-PaLM). First, experiments on ICL with flipped labels show that overriding semantic priors is an emergent ability of model scale. While small language models ignore flipped labels presented in-context and thus rely primarily on semantic priors from pretraining, large models can override semantic priors when presented with in-context exemplars that contradict priors, despite the stronger semantic priors that larger models may hold. We next study semantically-unrelated label ICL (SUL-ICL), in which labels are semantically unrelated to their inputs (e.g., foo/bar instead of negative/positive), thereby forcing language models to learn the input-label mappings shown in in-context exemplars in order to perform the task. The ability to do SUL-ICL also emerges primarily with scale, and large-enough language models can even perform linear classification in a SUL-ICL setting. Finally, we evaluate instruction-tuned models and find that instruction tuning strengthens both the use of semantic priors and the capacity to learn input-label mappings, but more of the former.
• Abstract（参考訳）: 本研究では,言語モデルにおけるインコンテキスト学習(ICL)が,意味的先行と入力ラベルマッピングの影響について検討する。 そこで本研究では,複数のモデルファミリー (GPT-3, InstructGPT, Codex, PaLM, Flan-PaLM) にまたがる意味的無関係なラベルを持つICLとフリップラベルを持つICLについて検討する。 第一に、リフテッドラベルを用いたICLの実験は、オーバーライドセマンティック先行がモデルスケールの創発的な能力であることを示している。 小さな言語モデルは、コンテキスト内に表示されるフリップラベルを無視して、主に事前学習からのセマンティクス優先に依存するが、大きなモデルは、より大きなモデルが保持するであろうより強いセマンティクス優先性にもかかわらず、先行と矛盾するインコンテキストの例で示されるセマンティクス優先をオーバーライドすることができる。 次に,意味的無関係ラベルivl (sul-icl) について検討を行い,各ラベルが入力と意味的に無関係(例えば,否定的/肯定的ではなくfoo/bar)であることを示す。 SUL-ICLの処理能力は、主にスケールで実現され、大きな言語モデルでもSUL-ICL設定で線形分類を行うことができる。 最後に,インストラクションチューニングモデルの評価を行い,インストラクションチューニングにより,セマンティック事前の使用とインプットラベルマッピングの学習能力の両方が強化されることを確認した。

関連論文リスト

• LabelPrompt: Effective Prompt-based Learning for Relation Classification [33.086516531992636]
  本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。 「モチベーションの並外れた直感的なアプローチ、GIVE MODEL CHOICES!」
  論文  参考訳（メタデータ） (2023-02-16T04:06:25Z)
• Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers [83.09636371985913]
  本稿ではメタ最適化として言語モデルを説明し、ICLを暗黙の微調整の一種として理解する。 ICLは、予測レベル、表現レベル、注意行動レベルにおいて、明示的な微調整と同様に振る舞う。
  論文  参考訳（メタデータ） (2022-12-20T18:58:48Z)
• Learning with Partial Labels from Semi-supervised Perspective [28.735185883881172]
  部分ラベル学習(Partial Label、PL)とは、部分ラベル付きデータから学習するタスクである。 セミスーパーバイザード・パースペクティブ(PLSP)を用いた部分ラベル学習という新しいPL学習手法を提案する。 PLSPは、特に高いあいまいさレベルにおいて、既存のPLベースライン法よりも著しく優れている。
  論文  参考訳（メタデータ） (2022-11-24T15:12:16Z)
• Graph Adaptive Semantic Transfer for Cross-domain Sentiment Classification [68.06496970320595]
  クロスドメイン感情分類(CDSC)は、ソースドメインから学んだ伝達可能なセマンティクスを使用して、ラベルなしのターゲットドメインにおけるレビューの感情を予測することを目的としている。 本稿では、単語列と構文グラフの両方からドメイン不変セマンティクスを学習できる適応型構文グラフ埋め込み法であるグラフ適応意味伝達(GAST)モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-18T07:47:01Z)
• Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
  埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。 これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。 これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
  論文  参考訳（メタデータ） (2022-03-16T11:06:50Z)
• Rich Semantics Improve Few-shot Learning [49.11659525563236]
  アノテーションコストを最小限に抑えながら取得できる「クラスレベル」言語記述を用いることで、少ない学習性能を向上できることを示す。 我々は,視覚トークンと意味トークンを関連付けるための前方および後方エンコーディング機構を開発した。
  論文  参考訳（メタデータ） (2021-04-26T16:48:27Z)
• Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification [52.69730591919885]
  本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。 多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
  論文  参考訳（メタデータ） (2020-07-29T19:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。