論文の概要: Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models

• arxiv url: http://arxiv.org/abs/2411.08733v2
• Date: Thu, 14 Nov 2024 02:36:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 11:44:50.605662
• Title: Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models
• Title（参考訳）: 言語モデルのチューニング自由な自己アライメントを可能にするプロンプト最適化による動的リワード
• Authors: Somanshu Singla, Zhen Wang, Tianyang Liu, Abdullah Ashfaq, Zhiting Hu, Eric P. Xing,
• Abstract要約: 我々は,Prompt Optimization (O) を用いた動的リワードによる自己アライメントのための新しいチューニング不要アプローチを提案する。 提案手法は,LLMを反復的に自己改善し,最適アライメント命令を作成可能な検索ベース最適化フレームワークを活用する。 近年の8つのLCMのオープンおよびクローズドソースに関する実証評価により,DRPOはアライメント性能を著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 54.381650481255235
• License:
• Abstract: Aligning Large Language Models (LLMs) traditionally relies on costly training and human preference annotations. Self-alignment seeks to reduce these expenses by enabling models to align themselves. To further lower costs and achieve alignment without any expensive tuning or annotations, we introduce a new tuning-free approach for self-alignment, Dynamic Rewarding with Prompt Optimization (DRPO). Our approach leverages a search-based optimization framework that allows LLMs to iteratively self-improve and craft the optimal alignment instructions, all without additional training or human intervention. The core of DRPO is a dynamic rewarding mechanism, which identifies and rectifies model-specific alignment weaknesses, allowing LLMs to adapt efficiently to diverse alignment challenges. Empirical evaluations on eight recent LLMs, both open- and closed-sourced, demonstrate that DRPO significantly enhances alignment performance, with base models outperforming their SFT/RLHF-tuned counterparts. Moreover, the prompts automatically optimized by DRPO surpass those curated by human experts, further validating the effectiveness of our approach. Our findings highlight the great potential of current LLMs to achieve adaptive self-alignment through inference-time optimization, complementing tuning-based alignment methods.
• Abstract（参考訳）: 大型言語モデル(LLM)の調整は、伝統的にコストのかかるトレーニングと人間の好みのアノテーションに依存している。 自己調整(Self-alignment)は、モデルが自分自身を整合させることによって、これらのコストを削減することを目指している。 コストをさらに削減し,高価なチューニングやアノテーションを使わずにアライメントを実現するため,我々は,Prompt Optimization(DRPO)を用いた動的リワード(Dynamic Rewarding with Prompt Optimization)という,自己アライメントのための新たなチューニング不要アプローチを導入する。 我々のアプローチでは、LLMが反復的に自己改善し、最適なアライメント命令を作成できる検索ベースの最適化フレームワークを活用している。 DRPOの中核は動的報酬機構であり、モデル固有のアライメントの弱点を特定し、修正し、LLMが多様なアライメントの課題に効率的に適応できるようにする。 近年の8つのLCMのオープンソースおよびクローズドソースに関する実証的な評価は、DRPOがアライメント性能を大幅に向上し、ベースモデルはSFT/RLHFで調整したモデルよりも優れていたことを示している。 さらに、DRPOによって自動的に最適化されるプロンプトは、人間の専門家がキュレートしたプロンプトを超え、我々のアプローチの有効性をさらに検証する。 本研究は,推定時間最適化による適応的自己アライメントを実現し,チューニングに基づくアライメント手法を補完する現在のLCMの大きな可能性を明らかにするものである。

関連論文リスト

• Aligning Large Language Models via Self-Steering Optimization [78.42826116686435]
  本稿では,高品質な選好信号を自律的に生成するアルゴリズムであるSelf-Steering Optimization(SSO$)を紹介する。 SSO$は、選択された応答と拒否された応答の間に一貫したギャップを確保することで、信号の精度を維持する。 我々は、Qwen2とLlama3.1という2つの基礎モデルを用いて、$SSO$の有効性を検証する。
  論文  参考訳（メタデータ） (2024-10-22T16:04:03Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Preference Alignment Improves Language Model-Based TTS [76.70693823683091]
  選好アライメントアルゴリズムは、報酬モデルの嗜好に合わせてLMを調整し、生成されたコンテンツの望ましさを高める。 1.15B のパラメータ LM に基づく TTS モデルを用いて、嗜好の整合性は常に知性、話者類似性、代用主観的評価スコアを向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T01:58:19Z)
• TSO: Self-Training with Scaled Preference Optimization [14.3799656174528]
  我々は、追加の報酬モデルを訓練することなく、自己学習による選好学習を行う、選好最適化のためのフレームワークTSOを提案する。 TSOは、モデル行列を構築し、人間の嗜好応答を取り入れることで、応答の多様性を高める。 実験の結果、TSOは様々なアライメント評価ベンチマークにおいて、既存の主流手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-31T05:37:01Z)
• Self-Play with Adversarial Critic: Provable and Scalable Offline Alignment for Language Models [44.38073745307387]
  本研究では,大規模言語モデル(LLM)とオフラインの嗜好データとの整合性について検討する。 オフラインRL文献から平均的な悲観的手法にインスパイアされた,セルフプレイによる新たなオフライン優先最適化手法であるSPACを提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:23:49Z)
• Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment [103.05005690990271]
  従来のアライメント戦略は人間の介入に大きく依存しており、例えばSupervised Fine-Tuning(SFT)やReinforcement Learning from Human Feedback(RLHF)などである。 本稿では、AlignCoTと呼ばれる思考の連鎖(CoT)アプローチを利用した新しい自己アライメント手法を提案する。 本稿では、AlignCoTプロセスの各コンポーネントを強化するために専門家の混合を適用し、アライメント効率を著しく向上させるMoTEアーキテクチャについて紹介する。
  論文  参考訳（メタデータ） (2024-05-01T15:06:05Z)
• Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
  我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。 以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。 我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-03T09:48:54Z)
• Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
  リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。 一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-21T10:46:23Z)
• Adversarial Preference Optimization: Enhancing Your Alignment via RM-LLM Game [31.66896160733569]
  そこで本稿では,より効率的な人選好最適化を目的としたAPO(Adversarial Preference Optimization)フレームワークを提案する。 提案手法は,LLMの有効性と無害性の観点から,既存のアライメントベースラインをさらに強化する。
  論文  参考訳（メタデータ） (2023-11-14T10:10:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。