Fugu-MT 論文翻訳(概要): System Message Generation for User Preferences using Open-Source Models

論文の概要: System Message Generation for User Preferences using Open-Source Models

arxiv url: http://arxiv.org/abs/2502.11330v2
Date: Fri, 23 May 2025 01:00:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-26 15:51:02.815646
Title: System Message Generation for User Preferences using Open-Source Models
Title（参考訳）: オープンソースモデルを用いたユーザ嗜好のためのシステムメッセージ生成
Authors: Minbyul Jeong, Jungho Cho, Minsoo Khang, Dawoon Jung, Teakgyu Hong,
Abstract要約: システムメッセージは、大規模言語モデル(LLM)との相互作用において重要な役割を果たす我々は,システムメッセージを生成するパイプラインであるSysGenを紹介した。 SysGenデータ上でのオープンソースモデルのトレーニングは、シングルターン(Multifacet)とマルチターン(SysBench)の会話ベンチマークの両方で大幅に改善される。
参考スコア（独自算出の注目度）: 4.387048445855714
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: System messages play a crucial role in interactions with large language models (LLMs), often serving as prompts to initiate conversations. Through system messages, users can assign specific roles, perform intended tasks, incorporate background information, and specify various output formats and communication styles. Despite such versatility, publicly available datasets often lack system messages and are subject to strict license constraints in industrial applications. Moreover, manually annotating system messages that align with user instructions is resource-intensive. In light of these challenges, we introduce SysGen, a pipeline for generating system messages that better align assistant responses with user instructions using existing supervised fine-tuning datasets that lack system messages. Training open-source models on SysGen data yields substantial improvements in both single-turn (Multifacet) and multi-turn (SysBench) conversation benchmarks. Notably, our method shows strong gains in shorter conversations, suggesting that it enhances early-stage interaction effectiveness. Our qualitative analysis further emphasizes the value of diverse and structured system messages in improving LLM adaptability across varied user scenarios.
Abstract（参考訳）: システムメッセージは、大きな言語モデル(LLM)との相互作用において重要な役割を果たす。システムメッセージを通じて、ユーザーは特定の役割を割り当て、意図したタスクを実行し、バックグラウンド情報を取り込み、様々な出力フォーマットや通信スタイルを指定できる。このような汎用性にもかかわらず、公開データセットにはシステムメッセージがなく、産業アプリケーションでは厳格なライセンス制約が課されることが多い。さらに、ユーザ指示に合わせたシステムメッセージのアノテートもリソース集約型である。これらの課題を踏まえて、システムメッセージを生成するパイプラインであるSysGenを紹介します。 SysGenデータ上でのオープンソースモデルのトレーニングは、シングルターン(Multifacet)とマルチターン(SysBench)の会話ベンチマークの両方で大幅に改善される。特に,本手法は会話の短縮に大きく寄与し,早期対話の有効性が向上することが示唆された。我々の定性的分析は、多様なユーザシナリオにおけるLLM適応性を改善する上で、多様で構造化されたシステムメッセージの価値をさらに強調する。

関連論文リスト

Benchmarking Retrieval-Augmented Generation in Multi-Modal Contexts [56.30364248231053]
本稿では,M2RAG(Multi-Modal Retrieval-Augmented Generation)を紹介する。 M2RAGはマルチモーダル大言語モデル(MLLM)の有効性を評価するためのベンチマークである。 MLLMのコンテキスト利用能力を高めるため,マルチモーダル検索型インストラクションチューニング(MM-RAIT)も導入する。
論文参考訳（メタデータ） (2025-02-24T16:25:25Z)
Has My System Prompt Been Used? Large Language Model Prompt Membership Inference [56.20586932251531]
Prompt Detectiveは,システムプロンプトがサードパーティの言語モデルによって使用されているかどうかを確実に判断する統計手法である。我々の研究は、システムの小さな変更でさえ、異なる応答分布に現れ、統計的に意味のある迅速な使用を検証できることを明らかにした。
論文参考訳（メタデータ） (2025-02-14T08:00:42Z)
SysBench: Can Large Language Models Follow System Messages? [30.701602680394686]
大規模言語モデル(LLM)は、様々なアプリケーションにまたがって実装されており、これらのモデルを特定のシナリオにカスタマイズすることがますます重要になっている。 AI駆動型ソリューションを最適化するシステムメッセージの可能性は認識されているが、LLMがシステムメッセージにどの程度うまく従うかを評価するためのベンチマークは、特に欠落している。我々は,既存のLLMの3つの制限の観点から,システムメッセージ追従能力を体系的に解析するベンチマークであるSysBenchを紹介する。
論文参考訳（メタデータ） (2024-08-20T15:33:16Z)
Training Zero-Shot Generalizable End-to-End Task-Oriented Dialog System Without Turn-level Dialog Annotations [2.757798192967912]
この作業はマルチタスク命令の微調整を用いて、より効率的でスケーラブルなタスク指向対話システムを構築する。提案手法は,アノテートされたデータに基づいて訓練された最先端モデルと,市販のChatGPTモデルから10億のパラメータを比較検討する。
論文参考訳（メタデータ） (2024-07-21T04:52:38Z)
Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
論文参考訳（メタデータ） (2024-03-05T13:45:46Z)
UniMS-RAG: A Unified Multi-source Retrieval-Augmented Generation for Personalized Dialogue Systems [43.266153244137215]
大規模言語モデル(LLM)は多くの自然言語理解および生成タスクにおいて例外的な機能を示している。我々は、パーソナライズされた応答を3つのサブタスク(知識ソース選択、知識検索、応答生成)に分解する。統一多ソース検索拡張生成システム(UniMS-RAG)を提案する。
論文参考訳（メタデータ） (2024-01-24T06:50:20Z)
DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
論文参考訳（メタデータ） (2024-01-02T07:40:12Z)
Multi-User MultiWOZ: Task-Oriented Dialogues among Multiple Users [51.34484827552774]
マルチユーザMulti-User MultiWOZデータセットを2つのユーザと1つのエージェント間のタスク指向対話としてリリースする。これらの対話は、タスク指向のシナリオにおける協調的な意思決定の興味深いダイナミクスを反映している。本稿では,複数ユーザ間のタスク指向のチャットを簡潔なタスク指向のクエリとして書き換える,マルチユーザコンテキストクエリ書き換えの新しいタスクを提案する。
論文参考訳（メタデータ） (2023-10-31T14:12:07Z)
Pivotal Role of Language Modeling in Recommender Systems: Enriching Task-specific and Task-agnostic Representation Learning [23.119223101680976]
本稿では,タスク固有のユーザ履歴に直接適用した言語モデリングが,多様な推薦タスクにおいて優れた結果をもたらすことを示す。さらに,本手法は,多種多様な実世界のレコメンデータシステムに対して,有望な伝達学習能力を提供できることを実証する。
論文参考訳（メタデータ） (2022-12-07T16:31:14Z)
Building a Role Specified Open-Domain Dialogue System Leveraging Large-Scale Language Models [15.062014096238803]
本研究では,オープンドメイン対話システムにおける役割を示唆する課題について検討する。スクラッチからロール充足型対話データセットを構築するための効率的なデータ収集フレームワークを提案する。当社のモデルでは,一般的なメトリクス上での競合的なパフォーマンスを維持しながら,アウトオブバウンド(out-of-bound)な発話をほとんど返さない。
論文参考訳（メタデータ） (2022-04-30T06:23:06Z)
Disentangling Online Chats with DAG-Structured LSTMs [55.33014148383343]
DAG-LSTMはTree-LSTMの一般化であり、間接的な非循環的依存関係を処理できる。提案する新モデルでは,リプライ・トゥ・リレーション(Repend-to-Relation)を回復する作業において,アート・ステータスの状態を達成できることが示される。
論文参考訳（メタデータ） (2021-06-16T18:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。