論文の概要: System Message Generation for User Preferences using Open-Source Models

• arxiv url: http://arxiv.org/abs/2502.11330v1
• Date: Mon, 17 Feb 2025 01:05:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:16:04.734861
• Title: System Message Generation for User Preferences using Open-Source Models
• Title（参考訳）: オープンソースモデルを用いたユーザ嗜好のためのシステムメッセージ生成
• Authors: Minbyul Jeong, Jungho Cho, Minsoo Khang, Dawoon Jung, Teakgyu Hong,
• Abstract要約: システムメッセージは、大規模言語モデル(LLM)との相互作用において重要な役割を果たす このような汎用性にもかかわらず、公開データはしばしばシステムメッセージが欠落している。 当社の作業では,より整合したアシスタント応答を備えたシステムメッセージを生成するパイプラインであるSysGenを導入しています。
• 参考スコア（独自算出の注目度）: 4.387048445855714
• License:
• Abstract: System messages play a crucial role in interactions with large language models (LLMs), often serving as prompts to initiate conversations. Through system messages, users can assign specific roles, perform intended tasks, incorporate background information, specify various output formats and communication styles. Despite such versatility, publicly available data are often lack system messages and subject to strict license constraints in the industry field. Manual labeling of publicly available data with system messages that align with user instructions demands significant resources. In view of such challenges, our work introduces SysGen, a pipeline for generating system messages with better aligned assistant responses from the supervised fine-tuning dataset without system messages. Training on SysGen data has demonstrated substantial improvements in the alignment of model responses with system messages and user instructions, as demonstrated across various open-source models on the Multifacet benchmark, while maintaining minimal impact on other unseen benchmarks such as Open LLM Leaderboard 2. Our qualitative analysis highlights the importance of diverse system messages to ensure better adaptability across different contexts.
• Abstract（参考訳）: システムメッセージは、大きな言語モデル(LLM)との相互作用において重要な役割を果たす。 システムメッセージを通じて、ユーザーは特定の役割を割り当てたり、意図したタスクを実行したり、バックグラウンド情報を組み込んだり、様々な出力フォーマットや通信スタイルを指定できる。 このような汎用性にもかかわらず、一般に利用可能なデータは、しばしばシステムメッセージが欠落し、業界分野における厳格なライセンス制約を受ける。 公開データの手動ラベリングとユーザ指示に沿ったシステムメッセージは、かなりのリソースを必要とする。 このような課題を考慮すると、システムメッセージなしで教師付き微調整データセットからより整列したアシスタント応答でシステムメッセージを生成するパイプラインであるSysGenを紹介します。 SysGenデータのトレーニングは、Multifacetベンチマークのさまざまなオープンソースモデルで実証されているように、システムメッセージやユーザインストラクションによるモデルレスポンスのアライメントにおいて、大幅に改善されている。 質的な分析は、さまざまなコンテキストにまたがる適応性を改善するために、多様なシステムメッセージの重要性を強調します。

関連論文リスト

• Has My System Prompt Been Used? Large Language Model Prompt Membership Inference [56.20586932251531]
  Prompt Detectiveは,システムプロンプトがサードパーティの言語モデルによって使用されているかどうかを確実に判断する統計手法である。 我々の研究は、システムの小さな変更でさえ、異なる応答分布に現れ、統計的に意味のある迅速な使用を検証できることを明らかにした。
  論文  参考訳（メタデータ） (2025-02-14T08:00:42Z)
• Retrieval-Augmented Personalization for Multimodal Large Language Models [53.304699445700926]
  本稿では,MLLMのパーソナライズのためのRAP(Retrieval Augmented Personalization)フレームワークを紹介する。 RAPは、外部データベースを更新することで、リアルタイムの概念編集を可能にする。 RAP-MLLMは、追加の微調整なしで無限の視覚概念に一般化することができる。
  論文  参考訳（メタデータ） (2024-10-17T09:10:26Z)
• SysBench: Can Large Language Models Follow System Messages? [30.701602680394686]
  大規模言語モデル(LLM)は、様々なアプリケーションにまたがって実装されており、これらのモデルを特定のシナリオにカスタマイズすることがますます重要になっている。 AI駆動型ソリューションを最適化するシステムメッセージの可能性は認識されているが、LLMがシステムメッセージにどの程度うまく従うかを評価するためのベンチマークは、特に欠落している。 我々は,既存のLLMの3つの制限の観点から,システムメッセージ追従能力を体系的に解析するベンチマークであるSysBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-20T15:33:16Z)
• Training Zero-Shot Generalizable End-to-End Task-Oriented Dialog System Without Turn-level Dialog Annotations [2.757798192967912]
  この作業はマルチタスク命令の微調整を用いて、より効率的でスケーラブルなタスク指向対話システムを構築する。 提案手法は,アノテートされたデータに基づいて訓練された最先端モデルと,市販のChatGPTモデルから10億のパラメータを比較検討する。
  論文  参考訳（メタデータ） (2024-07-21T04:52:38Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• UniMS-RAG: A Unified Multi-source Retrieval-Augmented Generation for Personalized Dialogue Systems [43.266153244137215]
  大規模言語モデル(LLM)は多くの自然言語理解および生成タスクにおいて例外的な機能を示している。 我々は、パーソナライズされた応答を3つのサブタスク(知識ソース選択、知識検索、応答生成)に分解する。 統一多ソース検索拡張生成システム(UniMS-RAG)を提案する。
  論文  参考訳（メタデータ） (2024-01-24T06:50:20Z)
• DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
  マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。 提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。 様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
  論文  参考訳（メタデータ） (2024-01-02T07:40:12Z)
• Multi-User MultiWOZ: Task-Oriented Dialogues among Multiple Users [51.34484827552774]
  マルチユーザMulti-User MultiWOZデータセットを2つのユーザと1つのエージェント間のタスク指向対話としてリリースする。 これらの対話は、タスク指向のシナリオにおける協調的な意思決定の興味深いダイナミクスを反映している。 本稿では,複数ユーザ間のタスク指向のチャットを簡潔なタスク指向のクエリとして書き換える,マルチユーザコンテキストクエリ書き換えの新しいタスクを提案する。
  論文  参考訳（メタデータ） (2023-10-31T14:12:07Z)
• Pivotal Role of Language Modeling in Recommender Systems: Enriching Task-specific and Task-agnostic Representation Learning [23.119223101680976]
  本稿では,タスク固有のユーザ履歴に直接適用した言語モデリングが,多様な推薦タスクにおいて優れた結果をもたらすことを示す。 さらに,本手法は,多種多様な実世界のレコメンデータシステムに対して,有望な伝達学習能力を提供できることを実証する。
  論文  参考訳（メタデータ） (2022-12-07T16:31:14Z)
• Building a Role Specified Open-Domain Dialogue System Leveraging Large-Scale Language Models [15.062014096238803]
  本研究では,オープンドメイン対話システムにおける役割を示唆する課題について検討する。 スクラッチからロール充足型対話データセットを構築するための効率的なデータ収集フレームワークを提案する。 当社のモデルでは,一般的なメトリクス上での競合的なパフォーマンスを維持しながら,アウトオブバウンド(out-of-bound)な発話をほとんど返さない。
  論文  参考訳（メタデータ） (2022-04-30T06:23:06Z)
• Disentangling Online Chats with DAG-Structured LSTMs [55.33014148383343]
  DAG-LSTMはTree-LSTMの一般化であり、間接的な非循環的依存関係を処理できる。 提案する新モデルでは,リプライ・トゥ・リレーション(Repend-to-Relation)を回復する作業において,アート・ステータスの状態を達成できることが示される。
  論文  参考訳（メタデータ） (2021-06-16T18:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。