論文の概要: An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2401.06692v3
• Date: Mon, 8 Jul 2024 02:52:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 02:58:36.790401
• Title: An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models
• Title（参考訳）: 大規模言語モデルのラベル効率向上のための実験的設計フレームワーク
• Authors: Gantavya Bhatt, Yifang Chen, Arnav M. Das, Jifan Zhang, Sang T. Truong, Stephen Mussmann, Yinglun Zhu, Jeffrey Bilmes, Simon S. Du, Kevin Jamieson, Jordan T. Ash, Robert D. Nowak,
• Abstract要約: 命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。 アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。 本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
• 参考スコア（独自算出の注目度）: 55.01592097059969
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised finetuning (SFT) on instruction datasets has played a crucial role in achieving the remarkable zero-shot generalization capabilities observed in modern large language models (LLMs). However, the annotation efforts required to produce high quality responses for instructions are becoming prohibitively expensive, especially as the number of tasks spanned by instruction datasets continues to increase. Active learning is effective in identifying useful subsets of samples to annotate from an unlabeled pool, but its high computational cost remains a barrier to its widespread applicability in the context of LLMs. To mitigate the annotation cost of SFT and circumvent the computational bottlenecks of active learning, we propose using experimental design. Experimental design techniques select the most informative samples to label, and typically maximize some notion of uncertainty and/or diversity. In our work, we implement a framework that evaluates several existing and novel experimental design techniques and find that these methods consistently yield significant gains in label efficiency with little computational overhead. On generative tasks, our methods achieve the same generalization performance with only $50\%$ of annotation cost required by random sampling.
• Abstract（参考訳）: 命令データセットの教師付き微調整(SFT)は、現代の大言語モデル(LLM)で観測される顕著なゼロショット一般化能力を達成する上で重要な役割を担っている。 しかし、命令データセットにまたがるタスクの数が増加し続けており、命令に対する高品質な応答を生成するために必要なアノテーションの取り組みは、非常に高価になってきている。 アクティブラーニングは、ラベルのないプールからアノテートするサンプルの有用なサブセットを特定するのに有効であるが、その高い計算コストは、LLMの文脈においてその広範な適用可能性の障壁である。 SFTのアノテーションコストを軽減し、アクティブラーニングの計算ボトルネックを回避するために、実験設計を用いて提案する。 実験的な設計技術は、ラベル付けする最も情報性の高いサンプルを選択し、典型的には不確実性や多様性の概念を最大化する。 本研究では,既存および新規な実験設計手法の評価を行うフレームワークを実装し,これらの手法が計算オーバーヘッドが少なく,ラベル効率の大幅な向上を図っている。 生成タスクにおいて,提案手法は同じ一般化性能を,ランダムサンプリングで要求されるアノテーションコストの50\%程度で達成する。

関連論文リスト

• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Cost-Effective In-Context Learning for Entity Resolution: A Design Space Exploration [26.65259285701739]
  本稿では,ERに対する費用対効果のあるバッチプロンプト手法の開発方法について,総合的研究を行う。 PLMに基づく手法と比較して,バッチプロンプトはERにとって非常に費用対効果が高いことが判明した。 また,マッチング精度と金銭的コストのバランスを効果的に整えるための包括的実証選択戦略も考案した。
  論文  参考訳（メタデータ） (2023-12-07T02:09:27Z)
• Multi-label and Multi-target Sampling of Machine Annotation for Computational Stance Detection [44.90471123149513]
  アノテーションの品質を最適化するために,マルチラベルおよびマルチターゲットサンプリング戦略を導入する。 ベンチマークスタンス検出コーパスの実験結果から,本手法は性能と学習効率を大幅に向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-11-08T06:54:34Z)
• Learning to Rank for Active Learning via Multi-Task Bilevel Optimization [29.207101107965563]
  データ取得のための学習代理モデルを用いて、ラベルのないインスタンスのバッチを選択することを目的とした、アクティブな学習のための新しいアプローチを提案する。 このアプローチにおける重要な課題は、ユーティリティ関数の入力の一部を構成するデータの歴史が時間とともに増大するにつれて、よく一般化する取得関数を開発することである。
  論文  参考訳（メタデータ） (2023-10-25T22:50:09Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
  我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。 報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。 本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
  論文  参考訳（メタデータ） (2022-03-18T16:50:38Z)
• Interactive Weak Supervision: Learning Useful Heuristics for Data Labeling [19.24454872492008]
  弱監督は、基礎的な真理ラベルなしでラベル付きデータセットを作成するための有望な代替手段を提供する。 本稿では,対話型弱監督のための最初のフレームワークを開発し,その手法が反復を提案し,ユーザフィードバックから学習する。 私たちの実験は、非常に競争力のあるテストセット性能を達成するモデルのトレーニングに少数のフィードバックが必要であることを示しています。
  論文  参考訳（メタデータ） (2020-12-11T00:10:38Z)
• Learning to Count in the Crowd from Limited Labeled Data [109.2954525909007]
  我々は,限られた数のラベル付きサンプルから参加者を数えることを学ぶことで,アノテーションの努力を減らすことに重点を置いている。 具体的には,未ラベルデータに対する擬似地下真理推定を含むガウス過程に基づく反復学習機構を提案する。
  論文  参考訳（メタデータ） (2020-07-07T04:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。