論文の概要: Alignment For Performance Improvement in Conversation Bots

• arxiv url: http://arxiv.org/abs/2406.18954v1
• Date: Thu, 27 Jun 2024 07:36:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 14:57:01.150576
• Title: Alignment For Performance Improvement in Conversation Bots
• Title（参考訳）: 会話ボットのパフォーマンス向上のためのアライメント
• Authors: Raghav Garg, Kapil Sharma, Shrey Singla,
• Abstract要約: 直接アライメント手法の指導微調整や最近の進歩など,従来の訓練手法について検討する。 プレインストラクションチューニングとポストインストラクションチューニングのアライメント手法の有効性を強調した。
• 参考スコア（独自算出の注目度）: 2.546628842850943
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper shows that alignment methods can achieve superior adherence to guardrails compared to instruction fine-tuning alone in conversational agents, also known as bots, within predefined guidelines or 'guardrails'. It examines traditional training approaches such as instruction fine-tuning and the recent advancements in direct alignment methods like Identity Preference Optimization (IPO), and Kahneman-Tversky Optimization (KTO). The effectiveness of alignment techniques both pre and post-instruction tuning is highlighted, illustrating their potential to optimize conversational bots in domains that require strict adherence to specified rules, such as customer care.
• Abstract（参考訳）: 本稿では,事前に規定されたガイドラインや「ガードレール」の中で,ボットとしても知られる会話エージェントの微調整のみを指導した場合と比較して,アライメント手法がガードレールの忠実性に優れることを示す。 命令の微調整や、アイデンティティ優先最適化(IPO)やKahneman-Tversky Optimization(KTO)といったダイレクトアライメント手法の最近の進歩など、従来のトレーニングアプローチを検討する。 プレインストラクション・チューニングとポストインストラクション・チューニングの両方のアライメント・テクニックの有効性が強調され、顧客ケアなどの特定のルールに厳格に準拠する必要のあるドメインにおける会話ボットの最適化の可能性が示された。

関連論文リスト

• Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models [54.381650481255235]
  我々は,Prompt Optimization (O) を用いた動的リワードによる自己アライメントのための新しいチューニング不要アプローチを提案する。 提案手法は,LLMを反復的に自己改善し,最適アライメント命令を作成可能な検索ベース最適化フレームワークを活用する。 近年の8つのLCMのオープンおよびクローズドソースに関する実証評価により,DRPOはアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-11-13T16:15:38Z)
• Preference Alignment Improves Language Model-Based TTS [76.70693823683091]
  選好アライメントアルゴリズムは、報酬モデルの嗜好に合わせてLMを調整し、生成されたコンテンツの望ましさを高める。 1.15B のパラメータ LM に基づく TTS モデルを用いて、嗜好の整合性は常に知性、話者類似性、代用主観的評価スコアを向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T01:58:19Z)
• Revisiting Image Captioning Training Paradigm via Direct CLIP-based Optimization [44.008094698200026]
  我々はDirect CLIP-Based Optimization (DiCO)と呼ばれる新しいトレーニングパラダイムを提案する。 提案手法は,高い相関性を有する学習可能なキャプション評価器から抽出した報酬モデルを共同で学習し,最適化する。 DiCOは、生成されたキャプションの安定性の向上と品質の向上だけでなく、既存の方法に比べて人間の好みと密接に一致している。
  論文  参考訳（メタデータ） (2024-08-26T18:00:33Z)
• Hybrid Alignment Training for Large Language Models [60.46220684809339]
  調整トレーニングは、大きな言語モデルが人間の意図や好みに適応できるようにするために不可欠である。 交互アライメントと変形弾性重み強化法に基づくハイブリッドアライメントトレーニング(Hbat)手法を提案する。 実験の結果,提案したtextscHbat はすべてのベースラインを大幅に上回ることがわかった。
  論文  参考訳（メタデータ） (2024-06-21T14:23:57Z)
• Explainable Bayesian Optimization [3.949577426370692]
  我々は,多目的最適化により高品質な説明文を生成する規則に基づく説明可能性手法であるTNTRulesを提案する。 この研究はBOとXAIの交差に寄与し、現実世界のアプリケーションに解釈可能な最適化技術を提供する。
  論文  参考訳（メタデータ） (2024-01-24T09:59:22Z)
• Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
  リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。 一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-21T10:46:23Z)
• PIP: Parse-Instructed Prefix for Syntactically Controlled Paraphrase Generation [61.05254852400895]
  Parse-Instructed Prefix (PIP) は、大規模な事前学習言語モデルをチューニングするためのプレフィックスチューニングの新しい適応である。 このタスクの従来の微調整手法とは対照的に、PIPは学習可能なパラメータの10倍少ない計算効率の代替手段である。
  論文  参考訳（メタデータ） (2023-05-26T07:42:38Z)
• Meta-Learning Parameterized First-Order Optimizers using Differentiable Convex Optimization [13.043909705693249]
  本稿では、内部ループ最適化ステップにおいて、微分凸最適化(DCO)を解くメタラーニングフレームワークを提案する。 線形最小二乗問題の族を一段階最適化できることを示すことによって、このアプローチの理論的魅力を説明する。
  論文  参考訳（メタデータ） (2023-03-29T18:17:41Z)
• Learning a Better Initialization for Soft Prompts via Meta-Learning [58.53984967461313]
  本稿では,プロンプトチューニングを改善するメタPT(Meta-learned Prompt Tuning)を提案する。 まず、事前学習したデータを異なる補助タスクにクラスタリングすることで、その構造を導入する。 これらのタスクをメタ学習アルゴリズムでプロンプトの事前学習に使用する。
  論文  参考訳（メタデータ） (2022-05-25T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。