論文の概要: A surprisal oracle for when every layer counts

• arxiv url: http://arxiv.org/abs/2412.03098v1
• Date: Wed, 04 Dec 2024 07:53:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:08:58.416021
• Title: A surprisal oracle for when every layer counts
• Title（参考訳）: すべての層が数えるときの前提託宣
• Authors: Xudong Hong, Sharid Loáiciga, Asad Sayeed,
• Abstract要約: Active Curriculum Language Modeling (ACLM)は、言語モデルをトレーニングするための学習者指向のアプローチである。 本稿では,BabyLM 2024タスクに対するACLMプロセスの更新を提案する。
• 参考スコア（独自算出の注目度）: 2.5716627278119444
• License:
• Abstract: Active Curriculum Language Modeling (ACLM; Hong et al., 2023) is a learner directed approach to training a language model. We proposed the original version of this process in our submission to the BabyLM 2023 task, and now we propose an updated ACLM process for the BabyLM 2024 task. ACLM involves an iteratively- and dynamically-constructed curriculum informed over the training process by a model of uncertainty; other training items that are similarly uncertain to a least certain candidate item are prioritized. Our new process improves the similarity model so that it is more dynamic, and we run ACLM over the most successful model from the BabyLM 2023 task: ELC-BERT (Charpentier and Samuel, 2023). We find that while our models underperform on fine-grained grammatical inferences, they outperform the BabyLM 2024 official base-lines on common-sense and world-knowledge tasks. We make our code available at https: //github.com/asayeed/ActiveBaby.
• Abstract（参考訳）: アクティブカリキュラム言語モデリング(アクティブカリキュラム言語モデリング、英語: Active Curriculum Language Modeling、ACLM、Hong et al 、2023年)は、言語モデルをトレーニングするための学習者向けアプローチである。 そこで我々は,BabyLM 2023タスクに対して,このプロセスの原版を提案し,今回,BabyLM 2024タスクの更新ACLMプロセスを提案する。 ACLMは、トレーニングプロセスを通じて不確実性のモデルによって通知される反復的かつ動的に構築されたカリキュラムを含む。 我々の新しいプロセスは、よりダイナミックな類似性モデルを改善し、BabyLM 2023タスクから最も成功したモデルであるLC-BERT(Charpentier and Samuel, 2023)上でACLMを実行する。 我々のモデルは粒度の細かい文法的推論では劣るが、BabyLM 2024では常識と世界知のタスクに関する公式ベースラインを上回ります。 コードをhttps: //github.com/asayeed/ActiveBaby.comで公開しています。

関連論文リスト

• Instruction Pre-Training: Language Models are Supervised Multitask Learners [115.95022434390181]
  本稿では,事前学習言語モデル(LM)に対して,命令応答対を用いた大規模生コーパスを付加するフレームワークを提案する。 実験では,40以上のタスクカテゴリをカバーする2億の命令応答ペアを合成し,インストラクション事前学習の有効性を検証する。
  論文  参考訳（メタデータ） (2024-06-20T16:55:33Z)
• Increasing The Performance of Cognitively Inspired Data-Efficient Language Models via Implicit Structure Building [6.445605125467575]
  階層型文構造に関する教師なし予測をモデルアーキテクチャに組み込んだ言語モデルを訓練する。 StructFormerモデルは、限られた事前学習データに基づいて教師なしの構文誘導でうまく機能することが示されている。 BabyLMチャレンジが提供する39のタスクに対するモデルの評価は、階層的バイアスをアーキテクチャに組み込むモデルの改善を期待できることを示す。
  論文  参考訳（メタデータ） (2023-10-31T16:26:36Z)
• Large Language Models as Generalizable Policies for Embodied Tasks [50.870491905776305]
  大規模言語モデル(LLM)は,視覚的タスクを具現化するための一般化可能なポリシーであることを示す。 我々のアプローチはLarge LAnguage Model Reinforcement Learning Policy (LLaRP)と呼ばれ、学習済みの凍結LDMに適応し、入力テキスト命令と視覚的自我中心の観察と出力動作を環境内で直接行う。
  論文  参考訳（メタデータ） (2023-10-26T18:32:05Z)
• Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models [91.02730155418699]
  大規模言語モデル(LLM)は、自然言語命令に従うことで幅広いタスクを実行できる。 LLMに提供される命令の質を自動改善する新しい手法であるAuto-Instructを導入する。 118のアウトオブドメインタスクの実験では、Auto-Instructは人間による命令と既存のLCM生成命令のベースラインを超越している。
  論文  参考訳（メタデータ） (2023-10-19T19:52:55Z)
• Improving Language Plasticity via Pretraining with Active Forgetting [63.36484652568976]
  本稿では,新しい言語に迅速に適応可能な PLM を作成する簡単な方法として,事前学習中に能動的に忘れる機構を提案する。 RoBERTaを用いた実験では、忘れるメカニズムで事前訓練されたモデルは、言語適応中により高速な収束を示す。
  論文  参考訳（メタデータ） (2023-07-03T17:12:44Z)
• ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for E-Commerce Product Search [4.220439000486713]
  検索結果の質を向上させるために,頑健な多言語モデルを提案する。 事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。 微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
  論文  参考訳（メタデータ） (2023-01-31T07:31:34Z)
• WeLM: A Well-Read Pre-trained Language Model for Chinese [37.68378062625651]
  WeLM: 中国語のためのよく読まれる事前学習型言語モデルを提案する。 WeLMには様々なドメインや言語に関する幅広い知識が備わっていることを示す。
  論文  参考訳（メタデータ） (2022-09-21T14:05:30Z)
• BLCU-ICALL at SemEval-2022 Task 1: Cross-Attention Multitasking Framework for Definition Modeling [16.794041736487323]
  本稿では,SemEval-2022 Task 1で使用されるBLCU-ICALLシステムについて述べる。 タスクを探索するトランスフォーマーベースのマルチタスクフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-16T02:33:28Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。