論文の概要: CLASS-IT: Conversational and Lecture-Aligned Small-Scale Instruction Tuning for BabyLMs

• arxiv url: http://arxiv.org/abs/2510.25364v1
• Date: Wed, 29 Oct 2025 10:36:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.399423
• Title: CLASS-IT: Conversational and Lecture-Aligned Small-Scale Instruction Tuning for BabyLMs
• Title（参考訳）: CLASS-IT:BabyLMのための会話型および講義型小規模授業チューニング
• Authors: Luca Capone, Alessandro Bondielli, Alessandro Lenci,
• Abstract要約: 本研究は,小規模のLMが命令チューニングの恩恵を受けることができるかどうかを考察する。 我々は,統合的・逐次的なカリキュラムに適用された対話型および質問応答型指導調律データセットを比較した。 その結果、命令チューニングは微調整のシナリオでは小さくても一貫した利得をもたらすことが示され、逐次キュリキュラはマージされたデータより優れていた。 しかし、改良はゼロショットタスクに一貫して移行するわけではなく、相互作用中心の適応と広範な言語一般化とのトレードオフを示唆している。
• 参考スコア（独自算出の注目度）: 81.79228604962687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work investigates whether small-scale LMs can benefit from instruction tuning. We compare conversational and question-answering instruction tuning datasets, applied either in a merged or sequential curriculum, using decoder-only models with 100M and 140M parameters. Evaluation spans both fine-tuning (SuperGLUE) and zero-shot (BLiMP, EWoK, WUGs, entity tracking, and psycholinguistic correlation) settings. Results show that instruction tuning yields small but consistent gains in fine-tuning scenarios, with sequential curricula outperforming merged data; however, improvements do not consistently transfer to zero-shot tasks, suggesting a trade-off between interaction-focused adaptation and broad linguistic generalization. These results highlight both the potential and the constraints of adapting human-inspired learning strategies to low-resource LMs, and point toward hybrid, curriculum-based approaches for enhancing generalization under ecological training limits.
• Abstract（参考訳）: 本研究は,小規模のLMが命令チューニングの恩恵を受けることができるかどうかを考察する。 我々は,1億と1億のパラメータを持つデコーダのみのモデルを用いて,統合的あるいは逐次的なカリキュラムに適用された対話型および質問応答型指導調律データセットを比較した。 評価は、微調整(SuperGLUE)とゼロショット(BLiMP、EWoK、WUG、エンティティトラッキング、精神言語的相関)の両方にまたがる。 その結果、命令チューニングは微調整のシナリオでは小さくても一貫した利得が得られ、逐次キュリキュラはマージされたデータよりも優れることがわかったが、改良はゼロショットタスクに一貫して移行するわけではなく、相互作用に焦点を絞った適応と広範言語一般化のトレードオフを示唆している。 これらの結果は、低リソースのLMに人間にインスパイアされた学習戦略を適用する可能性と制約の両方を強調し、生態訓練の制約下での一般化を促進するためのハイブリッドなカリキュラムベースのアプローチを指している。

関連論文リスト

• Aligning Instruction Tuning with Pre-training [61.50161961371844]
  そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。 8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-01-16T08:27:40Z)
• Transformers are Minimax Optimal Nonparametric In-Context Learners [36.291980654891496]
  大規模言語モデルのコンテキスト内学習は、いくつかの実証的な例から新しいタスクを学ぶのに驚くほど効果的な方法であることが証明されている。 我々は,ディープニューラルネットワークと1つの線形アテンション層からなる変圧器の近似および一般化誤差境界を開発する。 十分に訓練されたトランスフォーマーは、文脈における最小推定リスクを達成し、改善できることを示す。
  論文  参考訳（メタデータ） (2024-08-22T08:02:10Z)
• Benchmarking General-Purpose In-Context Learning [19.40952728849431]
  In-context Learning (ICL) は、生成モデルに新しいタスクを効果的に、かつ効率的にオンザフライで対処する権限を与える。 本稿では,より広い範囲の課題に対処するためのICLの拡張について検討する。 GPICLの機能のトレーニングと評価に特化して開発されたベンチマークを2つ導入する。
  論文  参考訳（メタデータ） (2024-05-27T14:50:42Z)
• Instruction Tuning With Loss Over Instructions [42.9106826952674]
  インストラクション・モデリング(IM)は、出力部のみではなく、インストラクションとプロンプト部に損失関数を適用してLMを訓練する。 多くのシナリオにおいて、IMはNLPタスクとオープン・エンド・ジェネレーション・ベンチマークの両方でのLM性能を効果的に改善できることを示す。 注目すべきは、最も有利な場合、IMはAlpacaEval 1.0のモデルパフォーマンスを100%以上向上させることだ。
  論文  参考訳（メタデータ） (2024-05-23T10:12:03Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Meta-learning via Language Model In-context Tuning [16.306733033119897]
  メタラーニングの目標は、いくつかのラベル付き例で新しいタスクに適応することを学ぶことだ。 適応と予測をリキャストする$textitin-context tuningを提案する。 LAMAとBinaryClfsの2種類のテキスト分類タスクについて,本手法のベンチマークを行った。
  論文  参考訳（メタデータ） (2021-10-15T02:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。