論文の概要: Aligning Instruction Tuning with Pre-training

• arxiv url: http://arxiv.org/abs/2501.09368v1
• Date: Thu, 16 Jan 2025 08:27:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:10:33.970439
• Title: Aligning Instruction Tuning with Pre-training
• Title（参考訳）: 事前学習による学習指導の調整
• Authors: Yiming Liang, Tianyu Zheng, Xinrun Du, Ge Zhang, Xingwei Qu, Xiang Yue, Chujie Zheng, Jiaheng Liu, Lei Ma, Wenhu Chen, Guoyin Wang, Zhaoxiang Zhang, Wenhao Huang, Jiajun Zhang,
• Abstract要約: そこで本稿では, 事前学習用* (AITP) と事前学習用* (AITP) を併用し, 指導チューニングと事前学習用分布の調整を行う。 8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
• 参考スコア（独自算出の注目度）: 83.76626763371367
• License:
• Abstract: Instruction tuning enhances large language models (LLMs) to follow human instructions across diverse tasks, relying on high-quality datasets to guide behavior. However, these datasets, whether manually curated or synthetically generated, are often narrowly focused and misaligned with the broad distributions captured during pre-training, limiting LLM generalization and effective use of pre-trained knowledge. We propose *Aligning Instruction Tuning with Pre-training* (AITP), a method that bridges this gap by identifying coverage shortfalls in instruction-tuning datasets and rewriting underrepresented pre-training data into high-quality instruction-response pairs. This approach enriches dataset diversity while preserving task-specific objectives. Evaluations on three fully open LLMs across eight benchmarks demonstrate consistent performance improvements with AITP. Ablations highlight the benefits of adaptive data selection, controlled rewriting, and balanced integration, emphasizing the importance of aligning instruction tuning with pre-training distributions to unlock the full potential of LLMs.
• Abstract（参考訳）: インストラクションチューニングは大きな言語モデル(LLM)を拡張して、振る舞いをガイドするための高品質なデータセットに依存して、さまざまなタスクにまたがる人間の指示に従う。 しかしながら、これらのデータセットは、手動でキュレートされたか合成されたかにかかわらず、しばしば狭義に焦点を合わせ、事前訓練中に取得した広範囲な分布と一致せず、LLMの一般化と事前訓練された知識の有効利用を制限している。 本稿では,教師訓練データセットのカバレッジ不足を識別し,未表現の事前学習データを高品質な命令応答ペアに書き換えることで,このギャップを埋める手法として,事前学習付き指導調整(AITP)を提案する。 このアプローチは、タスク固有の目的を維持しながら、データセットの多様性を強化します。 8ベンチマークにわたる3つの完全にオープンなLLMの評価は、AITPによる一貫したパフォーマンス改善を示している。 アブレーションは、適応的なデータ選択、制御された書き換え、バランスの取れた統合の利点を強調し、LLMの完全な可能性を解き放つために、事前学習されたディストリビューションに命令チューニングを合わせることの重要性を強調している。

関連論文リスト

• Continual LLaVA: Continual Instruction Tuning in Large Vision-Language Models [93.5327725085853]
  連続LLaVA(Continuous LLaVA)は、LVLMにおける連続的な命令チューニングに適したリハーサルフリーな手法である。 実験により,提案した連続LLaVAは,連続的な命令チューニング過程における忘れを著しく減らし,従来の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-11-04T19:55:32Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Feature-Adaptive and Data-Scalable In-Context Learning [36.01997148676005]
  FADS-ICLは、機能適応型でデータスケーリング可能なコンテキスト内学習フレームワークである。 タスク適応機能を活用して、下流タスクの推論を促進することができる。 FADS-ICLは従来の最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-05-17T12:32:53Z)
• Don't Half-listen: Capturing Key-part Information in Continual Instruction Tuning [13.535110749767451]
  キーパート情報ゲイン(KPIG)に基づく新しい連続的命令チューニング手法を提案する。 本手法は,マスク部分の情報ゲインを計算し,データを動的に再生し,トレーニング対象を洗練させる。 実験により,本手法は観察タスクと保留タスクの両方において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-03-15T06:54:20Z)
• Towards Efficient Active Learning in NLP via Pretrained Representations [1.90365714903665]
  ファインチューニング大型言語モデル(LLM)は、今や幅広いアプリケーションにおけるテキスト分類の一般的なアプローチである。 能動学習ループ内でのLLMの事前学習表現を用いて,このプロセスを大幅に高速化する。 私たちの戦略は、アクティブな学習ループを通した微調整と同じようなパフォーマンスを得るが、計算コストは桁違いに低い。
  論文  参考訳（メタデータ） (2024-02-23T21:28:59Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。