論文の概要: Safer-Instruct: Aligning Language Models with Automated Preference Data
- arxiv url: http://arxiv.org/abs/2311.08685v2
- Date: Mon, 19 Feb 2024 05:06:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 04:42:51.540440
- Title: Safer-Instruct: Aligning Language Models with Automated Preference Data
- Title(参考訳): Safer-Instruct: 自動推論データによる言語モデルの調整
- Authors: Taiwei Shi, Kai Chen, Jieyu Zhao
- Abstract要約: 人間のフィードバックからの強化学習は、言語モデルにおけるモデル能力を高めるための重要な戦略である。
大規模嗜好データを自動的に構築する新しいパイプラインであるSafer-Instructを提案する。
提案手法は, 高精度な選好データを生成するために, 逆命令チューニング, 命令誘導, エキスパートモデル評価を利用する。
- 参考スコア(独自算出の注目度): 22.677667753534685
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning from human feedback (RLHF) is a vital strategy for
enhancing model capability in language models. However, annotating preference
data for RLHF is a resource-intensive and creativity-demanding process, while
existing automatic generation methods face limitations in data diversity and
quality. In response, we present Safer-Instruct, a novel pipeline for
automatically constructing large-scale preference data. Our approach leverages
reversed instruction tuning, instruction induction, and expert model evaluation
to efficiently generate high-quality preference data without human annotators.
To verify the effectiveness of Safer-Instruct, we apply the pipeline to
construct a safety preference dataset as a case study. Finetuning an Alpaca
model on this synthetic dataset not only demonstrates improved harmlessness but
also outperforms models fine-tuned on human-annotated safety preference data,
all the while maintaining a competitive edge in downstream tasks. Importantly,
our Safer-Instruct framework is versatile and can be applied to generate
preference data across various domains, extending its utility beyond safety
preferences. It addresses the challenges in preference data acquisition and
advances the development of more capable and responsible AI systems. For
dataset and code implementation, see
https://github.com/uscnlp-lime/safer-instruct
- Abstract(参考訳): 人間のフィードバックからの強化学習(RLHF)は、言語モデルにおけるモデル能力を高めるための重要な戦略である。
しかし、RLHFの好みデータの注釈付けはリソース集約的で創造性に富むプロセスであり、既存の自動生成手法はデータの多様性と品質の限界に直面している。
そこで我々は,大規模嗜好データを自動的に構築する新しいパイプラインであるSafer-Instructを提案する。
提案手法は,人間アノテータを使わずに高品質な嗜好データを生成するために,逆命令チューニング,命令誘導,エキスパートモデル評価を利用する。
安全な指示の有効性を検証するために,安全嗜好データセットの構築にパイプラインを適用した。
この合成データセット上でAlpacaモデルを微調整すると、無害性が向上するだけでなく、人間の注釈付き安全選好データに基づいて微調整されたモデルよりも優れる。
重要なことに、我々の安全な命令型フレームワークは汎用性があり、様々なドメインにまたがる好みデータを生成するために適用できます。
好みのデータ取得の課題に対処し、より有能で責任のあるAIシステムの開発を進める。
データセットとコードの実装については、https://github.com/uscnlp-lime/safer-instructを参照。
関連論文リスト
- More RLHF, More Trust? On The Impact of Human Preference Alignment On Language Model Trustworthiness [24.843692458375436]
本研究は,5つの信頼性分野において,汎用的嗜好データに整合したモデルが,有益性と無害性に与える影響について検討した。
RLHFによる信頼性の向上は保証されるには程遠いものであり、嗜好データ、アライメントアルゴリズム、および特定の信頼性の側面の間には複雑な相互作用が存在する。
論文 参考訳(メタデータ) (2024-04-29T17:00:53Z) - Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。
一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
論文 参考訳(メタデータ) (2024-01-21T10:46:23Z) - ULMA: Unified Language Model Alignment with Human Demonstration and
Point-wise Preference [16.73260713938154]
典型的なアライメント手順は、教師付き微調整と選好学習からなる。
本稿では,ポイントワイズフィードバックを効果的に活用する新しい選好学習手法であるPoint-wise Direct Preference Optimizationを紹介する。
我々の研究は、教師付き微調整とポイントワイド選好学習の新たなつながりを明らかにし、統一言語モデルアライメント(英語版)に到達した。
論文 参考訳(メタデータ) (2023-12-05T07:52:12Z) - Enabling Language Models to Implicitly Learn Self-Improvement [49.16868302881804]
大規模言語モデル(LLM)は、オープンエンドテキスト生成タスクにおいて顕著な機能を示した。
我々は、人間の嗜好データから改善目標を暗黙的に学習するImPlicit Self-ImprovemenT(PIT)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-02T04:29:40Z) - Direct Preference Optimization: Your Language Model is Secretly a Reward
Model [126.78737228677025]
本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。
DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。
我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-29T17:57:46Z) - RLBoost: Boosting Supervised Models using Deep Reinforcement Learning [0.0]
RLBoostは、深層強化学習戦略を用いて、特定のデータセットを評価し、新しいデータの品質を推定できるモデルを得るアルゴリズムである。
論文の結果から, このモデルでは, LOO, DataShapley, DVRLなどの最先端アルゴリズムよりも, より優れた, より安定した結果が得られることが示された。
論文 参考訳(メタデータ) (2023-05-23T14:38:33Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - A Hybrid Framework for Sequential Data Prediction with End-to-End
Optimization [0.0]
オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。
逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。
本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
論文 参考訳(メタデータ) (2022-03-25T17:13:08Z) - Hyperparameter-free Continuous Learning for Domain Classification in
Natural Language Understanding [60.226644697970116]
ドメイン分類は自然言語理解(NLU)の基本課題である
既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。
本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
論文 参考訳(メタデータ) (2022-01-05T02:46:16Z) - S^3-Rec: Self-Supervised Learning for Sequential Recommendation with
Mutual Information Maximization [104.87483578308526]
本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。
そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。
6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
論文 参考訳(メタデータ) (2020-08-18T11:44:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。