Fugu-MT 論文翻訳(概要): DELIA: Diversity-Enhanced Learning for Instruction Adaptation in Large Language Models

論文の概要: DELIA: Diversity-Enhanced Learning for Instruction Adaptation in Large Language Models

arxiv url: http://arxiv.org/abs/2408.10841v1
Date: Mon, 19 Aug 2024 17:56:06 GMT
ステータス: 処理完了
システム内更新日: 2024-08-21 13:35:12.704330
Title: DELIA: Diversity-Enhanced Learning for Instruction Adaptation in Large Language Models
Title（参考訳）: DELIA:大規模言語モデルにおける命令適応のための多様性向上学習
Authors: Yuanhao Zeng, Fei Ren, Xinpeng Zhou, Yihang Wang, Yingxia Shao,
Abstract要約: 命令のチューニングは、モデルが新しい知識や能力を得るのではなく、特定のタスク形式に適合するプロセスであることを示す。この制限は, タスク固有の特徴と異なる, 命令チューニング中に学習した偏りのある特徴に起因していると考えられる。我々は,新たなデータ合成手法であるDELIAを用いて,命令チューニングにおけるバイアスのある特徴を理想的な特徴の近似に変換する。
参考スコア（独自算出の注目度）: 11.77848664657788
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Although instruction tuning is widely used to adjust behavior in Large Language Models (LLMs), extensive empirical evidence and research indicates that it is primarily a process where the model fits to specific task formats, rather than acquiring new knowledge or capabilities. We propose that this limitation stems from biased features learned during instruction tuning, which differ from ideal task-specfic features, leading to learn less underlying semantics in downstream tasks. However, ideal features are unknown and incalculable, constraining past work to rely on prior knowledge to assist reasoning or training, which limits LLMs' capabilities to the developers' abilities, rather than data-driven scalable learning. In our paper, through our novel data synthesis method, DELIA (Diversity-Enhanced Learning for Instruction Adaptation), we leverage the buffering effect of extensive diverse data in LLMs training to transform biased features in instruction tuning into approximations of ideal features, without explicit prior ideal features. Experiments show DELIA's better performance compared to common instruction tuning and other baselines. It outperforms common instruction tuning by 17.07%-33.41% on Icelandic-English translation bleurt score (WMT-21 dataset, gemma-7b-it) and improves accuracy by 36.1% on formatted text generation (Llama2-7b-chat). Notably, among knowledge injection methods we've known, DELIA uniquely align the internal representations of new special tokens with their prior semantics.
Abstract（参考訳）: インストラクションチューニングは大規模言語モデル(LLM)の振る舞いの調整に広く用いられているが、広範な実証的な証拠と研究は、モデルが新しい知識や能力を得るよりも、主に特定のタスク形式に適合するプロセスであることを示している。この制限は、命令チューニング中に学習した偏りのある特徴に起因しており、これは理想的なタスク-特殊特徴とは異なるものであり、下流タスクにおける基礎となる意味学の学習に繋がる。しかし、理想的な機能は未知であり、計算不可能であり、過去の作業は推論やトレーニングを支援するために事前の知識に頼ることを制約しており、データ駆動のスケーラブルな学習ではなく、LLMの能力を開発者の能力に制限している。本稿では,新たなデータ合成手法であるDELIA(Diversity-Enhanced Learning for Instruction Adaptation)を用いて,LLM訓練における多種多様なデータのバッファリング効果を活用し,命令チューニングにおけるバイアスのある特徴を,事前の理想的特徴を明示せずに理想的な特徴の近似に変換する。実験では、一般的な命令チューニングや他のベースラインと比較して、DELIAの性能が向上した。 17.07%-33.41%でアイスランド語と英語の翻訳用ブレントスコア(WMT-21データセット、gemma-7b-it)を上回り、フォーマットされたテキスト生成(Llama2-7b-chat)で36.1%の精度向上を実現している。特に、私たちが知っている知識注入手法の中で、DELIAは、新しい特別なトークンの内部表現とそれらの以前のセマンティクスを一意に一致させます。

関連論文リスト

SwitchCIT: Switching for Continual Instruction Tuning of Large Language Models [14.085371250265224]
大規模言語モデル(LLM)は、様々な領域、特に一般的な言語理解において印象的な能力を発揮している。しかし、これらのモデルは大量のテキストデータに基づいて訓練されており、命令によって引き起こされる特定のタスクに対して微妙に最適化されていないかもしれない。本研究は, LLMの連続的な命令学習において, パラメータ効率の高いチューニングモデルに演算をルーティングする切替機構を通じて, 破滅的な忘れに対処するものである。
論文参考訳（メタデータ） (2024-07-16T14:37:33Z)
Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文参考訳（メタデータ） (2024-06-07T11:37:45Z)
DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
論文参考訳（メタデータ） (2024-05-22T15:52:52Z)
LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文参考訳（メタデータ） (2024-02-06T19:18:04Z)
One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2023-12-16T03:33:12Z)
Distribution-Aware Prompt Tuning for Vision-Language Models [20.02599087680773]
プロンプトチューニングの鍵は、モデルパラメータを固定した学習可能なベクトルを介して、2つのモード間の特徴空間アライメントである。この観測に触発されて、視覚言語モデルのための分布認識プロンプトチューニング(DAPT)を提案する。 11のベンチマークデータセットに対する実験により,本手法が一般化可能性を大幅に向上することが示された。
論文参考訳（メタデータ） (2023-09-06T23:49:11Z)
Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文参考訳（メタデータ） (2023-08-23T12:36:57Z)
Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning [30.5853328612593]
本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
論文参考訳（メタデータ） (2020-12-04T08:34:39Z)
Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。