論文の概要: SCAR: Efficient Instruction-Tuning for Large Language Models via Style Consistency-Aware Response Ranking

• arxiv url: http://arxiv.org/abs/2406.10882v3
• Date: Sat, 6 Jul 2024 09:29:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 01:10:12.836805
• Title: SCAR: Efficient Instruction-Tuning for Large Language Models via Style Consistency-Aware Response Ranking
• Title（参考訳）: SCAR: スタイル一貫性を考慮した応答ランク付けによる大規模言語モデルの効率的なインストラクションチューニング
• Authors: Zhuang Li, Yuncheng Hua, Thuy-Trang Vu, Haolan Zhan, Lizhen Qu, Gholamreza Haffari,
• Abstract要約: 本研究は、応答スタイルをプレゼンテーションスタイルとコンポジションスタイルに分解する。 SCAR(Style Consistency-Aware Response Ranking)を紹介する。 SCARは、そのレスポンススタイリスティックな一貫性に基づいて、トレーニングセット内の命令-レスポンスペアを優先順位付けする。
• 参考スコア（独自算出の注目度）: 56.93151679231602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have shown that maintaining a consistent response style by human experts and enhancing data quality in training sets can significantly improve the performance of fine-tuned Large Language Models (LLMs) while reducing the number of training examples needed. However, the precise definition of style and the relationship between style, data quality, and LLM performance remains unclear. This research decomposes response style into presentation and composition styles and finds that, among training data of similar quality, those with higher style consistency lead to better LLM performance. Inspired by this, we introduce Style Consistency-Aware Response Ranking (SCAR), which automatically prioritizes instruction-response pairs in the training set based on their response stylistic consistency. By selecting the most style-consistent examples, ranging from the top 25% to 0.7% of the full dataset, the fine-tuned LLMs can match or even surpass the performance of models trained on the entire dataset in coding and open-ended question-answering benchmarks. Code and data are available at https://github.com/zhuang-li/SCAR .
• Abstract（参考訳）: 近年の研究では、人間の専門家による一貫した応答スタイルを維持し、トレーニングセットにおけるデータ品質を向上させることで、微調整された大規模言語モデル(LLM)の性能を大幅に向上し、必要なトレーニング例の数を削減できることが示されている。 しかし、スタイルの正確な定義と、スタイル、データ品質、LLMパフォーマンスの関係は、まだ不明である。 本研究は、応答スタイルをプレゼンテーションスタイルとコンポジションスタイルに分解し、類似品質のトレーニングデータのうち、高いスタイル整合性を持つものがLLM性能の向上につながることを明らかにする。 そこで本研究では,SCAR(Style Consistency-Aware Response Ranking)を導入する。 完全なデータセットの上位25%から0.7%まで、最もスタイルに一貫性のある例を選択することで、微調整されたLLMは、コーディングとオープンエンドの質問回答ベンチマークにおいて、データセット全体でトレーニングされたモデルのパフォーマンスにマッチまたは超えることができる。 コードとデータはhttps://github.com/zhuang-li/SCAR で公開されている。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• DecorateLM: Data Engineering through Corpus Rating, Tagging, and Editing with Language Models [78.51470038301436]
  本稿では,データ評価,タグ付け,編集を通じて事前学習コーパスを洗練させるデータエンジニアリング手法であるDecorateLMを紹介する。 次に、DecorateLMを適用して、トレーニングコーパスの100億のトークンを強化し、さらに12億のパラメータLLMのさらなるトレーニングのために、高品質と多様性を実証する45億のトークンを選択します。 その結果、このような高品質なデータを利用することで、モデルの性能を大幅に向上させることができることが示され、事前学習コーパスの品質を高めるための強力なアプローチが示される。
  論文  参考訳（メタデータ） (2024-10-08T02:42:56Z)
• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation [56.75665429851673]
  本稿では,人間とLLMの選好アライメントという2つのユニークな視点から導いた,新しい命令キュレーションアルゴリズムを提案する。 実験により,合成マルチモーダル命令を最大90%圧縮することにより,モデル性能の維持や改善が可能であることが示された。
  論文  参考訳（メタデータ） (2024-09-27T08:20:59Z)
• Large Language Model-guided Document Selection [23.673690115025913]
  大規模言語モデル(LLM)の事前学習は、ますます増加する計算予算を消費する。 近年の研究では、ドキュメントの選択がFLOPのごく一部で同等のモデル品質を実現することが実証されている。 拡張性のある汎用ドメイン文書選択のための有望な方向を探究する。
  論文  参考訳（メタデータ） (2024-06-07T04:52:46Z)
• Towards Efficient Active Learning in NLP via Pretrained Representations [1.90365714903665]
  ファインチューニング大型言語モデル(LLM)は、今や幅広いアプリケーションにおけるテキスト分類の一般的なアプローチである。 能動学習ループ内でのLLMの事前学習表現を用いて,このプロセスを大幅に高速化する。 私たちの戦略は、アクティブな学習ループを通した微調整と同じようなパフォーマンスを得るが、計算コストは桁違いに低い。
  論文  参考訳（メタデータ） (2024-02-23T21:28:59Z)
• Selective Reflection-Tuning: Student-Selected Data Recycling for LLM Instruction-Tuning [39.73918872205541]
  最近の多くの手法はデータ品質の改善に重点を置いているが、学生モデルとの互換性を見落としていることが多い。 本稿では,教師のLLMのリフレクションとイントロスペクションを相乗化して既存のデータ品質を改善する新パラダイムであるSelective Reflection-Tuningを紹介する。 この教師と学生の協調作業により、高品質で生徒互換の授業応答ペアが作成され、結果としてサンプル効率のよい指導チューニングがもたらされる。
  論文  参考訳（メタデータ） (2024-02-15T17:06:21Z)
• Rephrasing the Web: A Recipe for Compute and Data-Efficient Language Modeling [27.975832264345772]
  本稿では,Web上の文書をパラフレーズ化するために,既製の命令調整モデルを用いたWeb Rephrase Augmented Pre-training(textbfWRAP$)を提案する。 自然にノイズの多いC4データセットでWRAPを使用することで、プリトレーニングを$sim3x$で高速化する。 同じトレーニング済みの計算予算で、Pileのさまざまなサブセットで平均して10%以上のパープレキシティを改善し、13のタスクでゼロショットの質問応答精度を2%以上改善する。
  論文  参考訳（メタデータ） (2024-01-29T18:19:08Z)
• One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
  textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。 我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-16T03:33:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。