論文の概要: Tuning Language Models by Proxy

• arxiv url: http://arxiv.org/abs/2401.08565v1
• Date: Tue, 16 Jan 2024 18:49:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 18:38:48.782072
• Title: Tuning Language Models by Proxy
• Title（参考訳）: proxyによる言語モデルのチューニング
• Authors: Alisa Liu, Xiaochuang Han, Yizhong Wang, Yulia Tsvetkov, Yejin Choi, Noah A. Smith
• Abstract要約: プロキシチューニングは、ブラックボックスLM上で動作する軽量な復号時間アルゴリズムである。 我々の研究は、小さく調整されたLMを使用して、大規模で潜在的にプロプライエタリなLMを効率的にカスタマイズする可能性を実証している。
• 参考スコア（独自算出の注目度）: 117.08206725096036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the general capabilities of large pretrained language models, they consistently benefit from further adaptation to better achieve desired behaviors. However, tuning these models has become increasingly resource-intensive, or impossible when model weights are private. We introduce proxy-tuning, a lightweight decoding-time algorithm that operates on top of black-box LMs to achieve the result of directly tuning the model, but by accessing only its prediction over the output vocabulary. Our method instead tunes a smaller LM, then applies the difference between the predictions of the small tuned and untuned LMs to shift the original predictions of the base model in the direction of tuning, while retaining the benefits of larger scale pretraining. In experiments, when we apply proxy-tuning to Llama2-70B using proxies of only 7B size, we can close 88% of the gap between Llama2-70B and its truly-tuned chat version, when evaluated across knowledge, reasoning, and safety benchmarks. Interestingly, when tested on TruthfulQA, proxy-tuned models are actually more truthful than directly tuned models, possibly because decoding-time guidance better retains the model's factual knowledge. We then demonstrate the generality of proxy-tuning by applying it for domain adaptation on code, and task-specific finetuning on question-answering and math problems. Our work demonstrates the promise of using small tuned LMs to efficiently customize large, potentially proprietary LMs through decoding-time guidance.
• Abstract（参考訳）: 大きな事前訓練された言語モデルの一般的な能力にもかかわらず、彼らは常に、望ましい振る舞いを達成するためにさらなる適応の恩恵を受ける。 しかし、モデル重み付けがプライベートな場合には、これらのモデルのチューニングはますますリソース集約的になるか、不可能になっている。 我々は,ブラックボックスlms上で動作し,モデルを直接チューニングすることで得られるが,出力語彙上の予測のみにアクセスする,軽量な復号時間アルゴリズムであるproxy-tuningを導入する。 提案手法は,小型のLMをチューニングする代わりに,小型のLMの予測と未調整のLMの差を適用して,大規模プレトレーニングの利点を維持しつつ,ベースモデルの本来の予測をチューニング方向にシフトさせる。 実験では、7Bサイズのプロキシを使用したプロキシチューニングをLlama2-70Bに適用すると、Llama2-70Bと実際にチューニングされたチャットバージョンとのギャップの88%を、知識、推論、安全性ベンチマークで評価することができる。 興味深いことに、truefulqaでテストされた場合、プロキシチューニングされたモデルは、直接チューニングされたモデルよりも実際には真実である。 次に,コードへのドメイン適応に適用し,質問応答と数学問題に対するタスク固有の微調整を行うことで,プロキシチューニングの汎用性を示す。 我々の研究は、デコード時ガイダンスにより、小さく調整されたLMを用いて、大規模で潜在的にプロプライエタリなLMを効率的にカスタマイズする可能性を実証している。

関連論文リスト

• MoFO: Momentum-Filtered Optimizer for Mitigating Forgetting in LLM Fine-Tuning [11.174544614042984]
  微調整の間、大きな言語モデル(LLM)は、事前学習段階で得られた知識を忘れてしまう可能性があるため、一般的な能力は低下する。 我々はMomentum-Filtered Algorithm (MoFO)と呼ばれる新しい微調整アルゴリズムを提案する。 MoFOは、トレーニング済みモデルにパラメータを近づけながら、同様の微調整性能を達成する。
  論文  参考訳（メタデータ） (2024-07-30T17:38:24Z)
• Aligning Large Language Models via Fine-grained Supervision [20.35000061196631]
  事前訓練された大規模言語モデル(LLM)は、一貫性のある記事を生成するのに優れていますが、そのアウトプットは非現実的、有毒、あるいはユーザの期待に沿わないかもしれません。 現在のアプローチは、モデルアライメントを改善するために、人間のフィードバックによる強化学習を使うことに重点を置いている。 トークンレベルの微粒化によるLCMアライメント向上手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T20:21:45Z)
• When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method [56.571951345048355]
  大規模言語モデル(LLM)は、ダウンストリームアプリケーションにその機能をアンロックするためにファインチューニングを採用することが多い。 LLMモデルのサイズ、事前学習データサイズ、新しい微調整パラメータサイズ、微調整データサイズなどの異なるスケーリング要因が微調整性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2024-02-27T04:18:49Z)
• Black-Box Tuning of Vision-Language Models with Effective Gradient Approximation [71.21346469382821]
  ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。 CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
  論文  参考訳（メタデータ） (2023-12-26T06:31:28Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)
• CombLM: Adapting Black-Box Language Models through Small Fine-Tuned Models [43.28607973774104]
  言語モデル(LM)を新しいタスクやドメインに適用するための手法は、伝統的にモデルへのホワイトボックスアクセスを前提としてきた。 重み付けや中間的アクティベーションへのアクセスを前提に,大規模LMを新しい領域やタスクに適用するための軽量な手法を提案する。 提案手法は, 小型のホワイトボックスLMを微調整し, 小さなネットワークを介して, 確率レベルで大きなブラックボックスLMと組み合わせることである。
  論文  参考訳（メタデータ） (2023-05-23T06:32:55Z)
• nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
  我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。 トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。 NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
  論文  参考訳（メタデータ） (2023-04-14T00:45:01Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。