論文の概要: AdaptMI: Adaptive Skill-based In-context Math Instruction for Small Language Models

• arxiv url: http://arxiv.org/abs/2505.00147v1
• Date: Wed, 30 Apr 2025 19:35:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.164596
• Title: AdaptMI: Adaptive Skill-based In-context Math Instruction for Small Language Models
• Title（参考訳）: AdaptMI:小言語モデルのための適応型スキルベースインコンテキスト数学指導
• Authors: Yinghui He, Abhishek Panigrahi, Yong Lin, Sanjeev Arora,
• Abstract要約: In-context Learning (ICL) は、言語モデルに適切な情報を提供する際に、その問題解決能力を改善することができる。 最近の研究は、解決に必要なスキルを予測するために、フロンティアの大言語モデル(LLM)の能力を活用することで、ICLのパフォーマンスを向上できることを示している。 このスキルベースの戦略は、より大きなモデルでのICL性能を向上させるが、小型言語モデル(SLM)での利得は最小限である。 本稿では,SLMのためのスキルベースのテキスト内数学命令を選択するための適応的アプローチであるAdaptMIを紹介する。
• 参考スコア（独自算出の注目度）: 41.247758234888835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) allows a language model to improve its problem-solving capability when provided with suitable information in context. Since the choice of in-context information can be determined based on the problem itself, in-context learning is analogous to human learning from teachers in a classroom. Recent works (Didolkar et al., 2024a; 2024b) show that ICL performance can be improved by leveraging a frontier large language model's (LLM) ability to predict required skills to solve a problem, popularly referred to as an LLM's metacognition, and using the recommended skills to construct necessary in-context examples. While this skill-based strategy boosts ICL performance in larger models, its gains on small language models (SLMs) have been minimal, highlighting a performance gap in ICL capabilities. We investigate this gap and show that skill-based prompting can hurt SLM performance on easy questions by introducing unnecessary information, akin to cognitive overload. To address this, we introduce AdaptMI, an adaptive approach to selecting skill-based in-context Math Instructions for SLMs. Inspired by cognitive load theory from human pedagogy, our method only introduces skill-based examples when the model performs poorly. We further propose AdaptMI+, which adds examples targeted to the specific skills missing from the model's responses. On 5-shot evaluations across popular math benchmarks and five SLMs (1B--7B; Qwen, Llama), AdaptMI+ improves accuracy by up to 6% over naive skill-based strategies.
• Abstract（参考訳）: In-context Learning (ICL) は、言語モデルに適切な情報を提供する際に、その問題解決能力を改善することができる。 インコンテキスト情報の選択は問題自体に基づいて決定できるため、インコンテキスト学習は教室の教師によるヒューマンラーニングと類似している。 最近の研究 (Didolkar et al , 2024a; 2024b) は、LLMのメタ認知と呼ばれる問題の解決に必要なスキルを予測できるフロンティアの大規模言語モデル(LLM)能力を活用し、推奨スキルを用いて、コンテキスト内サンプルを構築することにより、ICLのパフォーマンスを向上させることができることを示している。 このスキルベースの戦略は、より大きなモデルでのICLのパフォーマンスを向上させるが、小さな言語モデル(SLM)での利益は最小限であり、ICL能力のパフォーマンスギャップを浮き彫りにしている。 このギャップを考察し,スキルベースのプロンプトが,認知過負荷に類似した不必要な情報を導入することで,SLMのパフォーマンスを損なう可能性があることを示す。 そこで本研究では,SLMのためのスキルベースのテキスト内数学命令を選択する適応的アプローチであるAdaptMIを紹介する。 人間の教育から認知的負荷理論にインスパイアされた本手法では,モデルの性能が不十分な場合にのみ,スキルに基づく実例を導入する。 さらに、モデルの応答から欠落する特定のスキルを対象としたサンプルを追加するAdaptMI+を提案する。 一般的な数学ベンチマークと5つのSLM(1B--7B; Qwen, Llama)の5ショット評価では、AdaptMI+は、単純スキルベースの戦略よりも最大6%精度が向上する。

関連論文リスト

• Catastrophic Forgetting in LLMs: A Comparative Analysis Across Language Tasks [0.0]
  大規模言語モデル(LLM)は、かなり高度な自然言語処理(NLP)を持つ 本研究では,主要なNLUタスクに対する各種オープンソースLLMの連続的な微調整について検討する。 以上の結果から,Phi-3.5-miniのようなモデルでは,強い学習能力を維持しつつ,最小限の忘れを生じさせることが示唆された。
  論文  参考訳（メタデータ） (2025-04-01T23:06:55Z)
• MAPLE: A Framework for Active Preference Learning Guided by Large Language Models [9.37268652939886]
  大規模言語モデルに基づくベイズ的能動的嗜好学習のためのフレームワークであるMAPLEを紹介する。 以上の結果から,MAPLEは学習過程を加速し,質問に答える能力を向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-12-10T05:55:14Z)
• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [73.34893326181046]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Real-Time Personalization for LLM-based Recommendation with Customized In-Context Learning [57.28766250993726]
  この研究は、モデル更新なしに動的なユーザ関心に適応することを検討する。 既存のLarge Language Model (LLM)ベースのレコメンダは、レコメンデーションチューニング中にコンテキスト内学習能力を失うことが多い。 本稿では,レコメンデーション固有のインコンテキスト学習をリアルタイムレコメンデーションにカスタマイズするRecICLを提案する。
  論文  参考訳（メタデータ） (2024-10-30T15:48:36Z)
• Unlearnable Algorithms for In-context Learning [36.895152458323764]
  本稿では,事前訓練された大規模言語モデルのタスク適応フェーズに対する効率的なアンラーニング手法に着目した。 タスク適応のための文脈内学習を行うLLMの能力は、タスク適応トレーニングデータの効率的なアンラーニングを可能にする。 本稿では,様々な推論コストを考慮に入れた非学習コストの包括的尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-01T16:43:04Z)
• In-Context Unlearning: Language Models as Few Shot Unlearners [27.962361828354716]
  我々は,Large Language Models (LLMs) のための新しいアンラーニング手法を提案する。 このメソッドは、モデルパラメータを更新することなく、コンテキスト内で特定の種類の入力を提供することで、モデルからインスタンスを解放する。 実験の結果、文脈内アンラーニングは、モデルパラメータへのアクセスを必要とする他の最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-11T15:19:31Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Skill-Based Few-Shot Selection for In-Context Learning [123.26522773708683]
  Skill-KNNは、文脈内学習のためのスキルベースの少ショット選択手法である。 モデルはトレーニングや微調整を必要とせず、頻繁に銀行を拡大したり変更したりするのに適している。 5つのドメイン間セマンティックパーシングデータセットと6つのバックボーンモデルによる実験結果から、Skill-KNNは既存の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T16:28:29Z)
• Concept-aware Training Improves In-context Learning Ability of Language Models [0.0]
  トランスフォーマーファミリーの最近の言語モデル(LM)の多くは、いわゆるインコンテキスト学習(ICL)能力を示している。 テキスト内情報をよりよく活用できるLMを作成する手法を提案する。 概念認識トレーニングのデータサンプリングはモデルの推論能力を継続的に改善する。
  論文  参考訳（メタデータ） (2023-05-23T07:44:52Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。