論文の概要: Interactive Multi-fidelity Learning for Cost-effective Adaptation of
Language Model with Sparse Human Supervision
- arxiv url: http://arxiv.org/abs/2310.20153v1
- Date: Tue, 31 Oct 2023 03:39:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 16:49:15.559485
- Title: Interactive Multi-fidelity Learning for Cost-effective Adaptation of
Language Model with Sparse Human Supervision
- Title（参考訳）: 少ない人間の監督を伴う言語モデルのコスト効率の高い適応のための対話型マルチフィデリティ学習
- Authors: Jiaxin Zhang, Zhuohang Li, Kamalika Das, Sricharan Kumar
- Abstract要約: 大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示した。
本稿では,小規模ドメイン固有LMの費用対効果向上を目的とした,インタラクティブ多要素学習(IMFL)フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 6.151133144093847
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated remarkable capabilities in
various tasks. However, their suitability for domain-specific tasks, is limited
due to their immense scale at deployment, susceptibility to misinformation, and
more importantly, high data annotation costs. We propose a novel Interactive
Multi-Fidelity Learning (IMFL) framework for the cost-effective development of
small domain-specific LMs under limited annotation budgets. Our approach
formulates the domain-specific fine-tuning process as a multi-fidelity learning
problem, focusing on identifying the optimal acquisition strategy that balances
between low-fidelity automatic LLM annotations and high-fidelity human
annotations to maximize model performance. We further propose an
exploration-exploitation query strategy that enhances annotation diversity and
informativeness, incorporating two innovative designs: 1) prompt retrieval that
selects in-context examples from human-annotated samples to improve LLM
annotation, and 2) variable batch size that controls the order for choosing
each fidelity to facilitate knowledge distillation, ultimately enhancing
annotation quality. Extensive experiments on financial and medical tasks
demonstrate that IMFL achieves superior performance compared with single
fidelity annotations. Given a limited budget of human annotation, IMFL
significantly outperforms the human annotation baselines in all four tasks and
achieves very close performance as human annotations on two of the tasks. These
promising results suggest that the high human annotation costs in
domain-specific tasks can be significantly reduced by employing IMFL, which
utilizes fewer human annotations, supplemented with cheaper and faster LLM
(e.g., GPT-3.5) annotations to achieve comparable performance.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示した。
しかし、ドメイン固有のタスクに対する適合性は、デプロイメントの大規模化、誤情報への感受性、さらに重要なのは、高いデータアノテーションコストによって制限されている。
本稿では,限定的なアノテーション予算下での小規模ドメイン固有LMの費用対効果開発のための,インタラクティブ多言語学習(IMFL)フレームワークを提案する。
提案手法は,低忠実度自動LLMアノテーションと高忠実度人間のアノテーションのバランスをとる最適獲得戦略の同定に焦点をあて,多忠実度学習問題としてドメイン固有の微調整プロセスを定式化する。
さらに,2つの革新的な設計を取り入れ,アノテーションの多様性と情報性を高める探索探索問合せ戦略を提案する。
1) LLMアノテーションを改善するために、人間アノテーション付きサンプルからテキスト中の例を選択するプロンプト検索
2) 知識蒸留を容易にするために各忠実度を選択する順序を制御する可変バッチサイズ。
金融・医療タスクに関する大規模な実験は、IMFLが単一忠実度アノテーションと比較して優れたパフォーマンスを発揮することを示した。
ヒューマンアノテーションの予算が限られているため、imflは4つのタスクすべてにおいてヒューマンアノテーションのベースラインを大きく上回り、2つのタスクでヒューマンアノテーションとして非常に近いパフォーマンスを達成しています。
これらの有望な結果は、より安価で高速なLCM(例えば、GPT-3.5)アノテーションを補足して同等のパフォーマンスを実現するIMFLを用いることで、ドメイン固有のタスクにおける高い人的アノテーションコストを大幅に削減できることを示している。
関連論文リスト
- Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。
MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。
Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
論文 参考訳（メタデータ） (2024-04-13T12:14:58Z) - LLMs in the Loop: Leveraging Large Language Model Annotations for Active Learning in Low-Resource Languages [1.149936119867417]
低リソース言語は、限られた言語資源とデータラベリングの専門知識のために、AI開発において重大な障壁に直面している。
データアノテーションのアクティブ学習ループにおけるLLMの可能性を活用することを提案する。
GPT-4-Turboを用いた実証的な評価では、データ要求が大幅に削減され、最先端の性能が実証された。
論文 参考訳（メタデータ） (2024-04-02T19:34:22Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳（メタデータ） (2024-02-29T21:05:37Z) - An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。
アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。
本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
論文 参考訳（メタデータ） (2024-01-12T16:56:54Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳（メタデータ） (2023-12-26T07:24:46Z) - CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large
Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。
我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文 参考訳（メタデータ） (2023-10-24T08:56:49Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-05-24T10:08:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。