論文の概要: Teaching According to Talents! Instruction Tuning LLMs with Competence-Aware Curriculum Learning

• arxiv url: http://arxiv.org/abs/2509.13790v1
• Date: Wed, 17 Sep 2025 07:58:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.774731
• Title: Teaching According to Talents! Instruction Tuning LLMs with Competence-Aware Curriculum Learning
• Title（参考訳）: タレントによる教育!コンピテンス・アウェア・キュリキュラム・ラーニングによる指導学習
• Authors: Yangning Li, Tingwei Lu, Yinghui Li, Yankai Chen, Wei-Chieh Huang, Wenhao Jiang, Hui Wang, Hai-Tao Zheng, Philip S. Yu,
• Abstract要約: 本稿では,CAMPUS と呼ばれるコンピテンス・アウェア・マルチパースペクティブ cUrriculum instruction のチューニングフレームワークを提案する。 CAMPUSには、サブカリキュラムの動的選択、カリキュラムスケジュールの能力を考慮した調整、複数の困難ベースのスケジューリングなど、いくつかの利点がある。
• 参考スコア（独自算出の注目度）: 64.92967672226534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient instruction tuning aims to enhance the ultimate performance of large language models (LLMs) trained on a given instruction dataset. Curriculum learning as a typical data organization strategy has shown preliminary effectiveness in instruction tuning. However, current curriculum tuning methods suffer from the curriculum rigidity, since they rely solely on static heuristic difficulty metrics. These methods fail to adapt to the evolving capabilities of models during training, resulting in a fixed and potentially sub-optimal learning trajectory. To address the issue, Competence-Aware Multi-Perspective cUrriculum inStruction tuning framework termed CAMPUS is proposed. CAMPUS offers several advantages: (1) Dynamic selection for sub-curriculum. (2) Competency-aware adjustment to the curriculum schedule. (3) Multiple difficulty-based scheduling. Extensive experiments prove the superior performance of CAMPUS, compared to other state-of-the-art baselines for efficient instruction tuning.
• Abstract（参考訳）: 効率的な命令チューニングは、与えられた命令データセットに基づいてトレーニングされた大規模言語モデル(LLM)の究極のパフォーマンスを高めることを目的としている。 典型的データ組織戦略としてのカリキュラム学習は,指導指導における予備的な効果を示した。 しかし、現在のカリキュラムチューニング手法は静的ヒューリスティックな難易度にのみ依存するため、カリキュラムの剛性に悩まされている。 これらの手法は訓練中にモデルの進化する能力に適応できず、固定的かつ潜在的に準最適学習軌道となる。 この問題に対処するために,CAMPUS と呼ばれるコンピテンス・アウェア・マルチパースペクティブ cUrriculum inStruction フレームワークを提案する。 CAMPUSには次のような利点がある。 2)カリキュラムのスケジュールに対する能力に配慮した調整。 (3)複数の困難に基づくスケジューリング。 大規模な実験により、CAMPUSの優れた性能が証明された。

関連論文リスト

• Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
  本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。 本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
  論文  参考訳（メタデータ） (2025-07-13T19:36:17Z)
• Beyond Random Sampling: Efficient Language Model Pretraining via Curriculum Learning [23.900888224619]
  カリキュラム学習は,初等・中等教育段階におけるコンバージェンスを継続的に改善することを示す。 圧縮比、語彙の多様性、可読性は、設定間の効果的な難易度信号として同定する。
  論文  参考訳（メタデータ） (2025-06-12T21:06:57Z)
• RAISE: Reinforced Adaptive Instruction Selection For Large Language Models [48.63476198469349]
  タスクオブジェクト駆動型命令選択フレームワークRAISE(Reinforced Adaptive Instruction Selection)を提案する。 RAISEは命令の微調整プロセス全体を最適化に取り入れ、各命令がモデルの性能改善に期待する影響に基づいて各ステップで命令を選択する。 実験と結果解析は,他の命令選択法と比較して,本手法の優位性を証明している。
  論文  参考訳（メタデータ） (2025-04-09T21:17:52Z)
• MLAN: Language-Based Instruction Tuning Preserves and Transfers Knowledge in Multimodal Language Models [79.0546136194314]
  マルチモーダルな大言語モデルのゼロショットタスクの一般化を改善するために,新しい視覚的インストラクションチューニング手法を提案する。 十分な多彩なテキストのみのデータの増加は、視覚言語アプローチよりも効率的でありながら、モダリティ全体にわたって命令追従能力とドメイン知識の伝達を可能にする。
  論文  参考訳（メタデータ） (2024-11-15T20:09:59Z)
• SwitchCIT: Switching for Continual Instruction Tuning [14.085371250265224]
  大規模言語モデル (LLM) とマルチモーダルモデル (MM) は、様々な領域で印象的な機能を示している。 タスクやドメインの進化に大規模なモデルを適用するためには、継続的な命令チューニングが不可欠である。 この研究は、パラメータ効率の調整モデルに計算をルーティングするメカニズムを通じて、連続的な命令学習における破滅的な忘れに対処する。
  論文  参考訳（メタデータ） (2024-07-16T14:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。