論文の概要: Large Language Models are Superpositions of All Characters: Attaining
Arbitrary Role-play via Self-Alignment
- arxiv url: http://arxiv.org/abs/2401.12474v1
- Date: Tue, 23 Jan 2024 03:56:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 16:54:31.148181
- Title: Large Language Models are Superpositions of All Characters: Attaining
Arbitrary Role-play via Self-Alignment
- Title(参考訳): 大言語モデルは全ての文字の重ね合わせである:自己アライメントによる任意ロールプレイの実現
- Authors: Keming Lu, Bowen Yu, Chang Zhou, Jingren Zhou
- Abstract要約: 本稿では,ロールプレイのための自己アライメント手法であるDittoを紹介する。
この方法は4000文字からなるロールプレイトレーニングセットを生成し、現在利用可能なデータセットのスケールを10倍に超える。
本稿では,ロールプレイ領域におけるクロススーパービジョンアライメント実験について紹介する。
- 参考スコア(独自算出の注目度): 62.898963074989766
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Considerable efforts have been invested in augmenting the role-playing
proficiency of open-source large language models (LLMs) by emulating
proprietary counterparts. Nevertheless, we posit that LLMs inherently harbor
role-play capabilities, owing to the extensive knowledge of characters and
potential dialogues ingrained in their vast training corpora. Thus, in this
study, we introduce Ditto, a self-alignment method for role-play. Ditto
capitalizes on character knowledge, encouraging an instruction-following LLM to
simulate role-play dialogues as a variant of reading comprehension. This method
creates a role-play training set comprising 4,000 characters, surpassing the
scale of currently available datasets by tenfold regarding the number of roles.
Subsequently, we fine-tune the LLM using this self-generated dataset to augment
its role-playing capabilities. Upon evaluating our meticulously constructed and
reproducible role-play benchmark and the roleplay subset of MT-Bench, Ditto, in
various parameter scales, consistently maintains a consistent role identity and
provides accurate role-specific knowledge in multi-turn role-play
conversations. Notably, it outperforms all open-source role-play baselines,
showcasing performance levels comparable to advanced proprietary chatbots.
Furthermore, we present the first comprehensive cross-supervision alignment
experiment in the role-play domain, revealing that the intrinsic capabilities
of LLMs confine the knowledge within role-play. Meanwhile, the role-play styles
can be easily acquired with the guidance of smaller models. We open-source
related resources at https://github.com/OFA-Sys/Ditto.
- Abstract(参考訳): オープンソースの大規模言語モデル(LLM)のロールプレイング能力を高めるために、プロプライエタリな言語をエミュレートする努力が注がれている。
それにもかかわらず、llmは本質的にロールプレイ能力を有しており、キャラクターの豊富な知識と膨大なトレーニングコーパスに埋もれた潜在的な対話がある。
そこで本研究では,ロールプレイのための自己アライメント手法であるDittoを紹介する。
ディットは文字知識を活かし、読み理解の亜種としてロールプレイの対話をシミュレートする命令追従 LLM を奨励する。
この方法は4000文字からなるロールプレイトレーニングセットを作成し、現在利用可能なデータセットのスケールを10倍に越える。
その後、この自己生成データセットを用いてLLMを微調整し、ロールプレイング能力を増強する。
MT-Benchの再現可能なロールプレイベンチマークと,MT-Benchのロールプレイサブセットをパラメータスケールで評価すると,Dittoは一貫して一貫したロールアイデンティティを保持し,マルチターンロールプレイ会話において正確なロール固有知識を提供する。
特に、オープンソースのロールプレイベースラインをすべて上回り、高度なプロプライエタリなチャットボットに匹敵するパフォーマンスレベルを示している。
さらに,ロールプレイ領域における初の包括的クロススーパービジョンアライメント実験を行い,ロールプレイ領域におけるllmの本質的能力が知識を限定することを明らかにする。
一方、ロールプレイスタイルはより小さなモデルのガイダンスによって容易に取得できる。
関連リソースはhttps://github.com/OFA-Sys/Ditto.comで公開しています。
関連論文リスト
- On the Decision-Making Abilities in Role-Playing using Large Language
Models [6.550638804145713]
大型言語モデル(LLM)はロールプレイングタスクにますます活用されている。
本稿では,LLMのポストロールプレイングにおける意思決定能力の評価に焦点をあてる。
論文 参考訳(メタデータ) (2024-02-29T02:22:23Z) - Enhancing Role-playing Systems through Aggressive Queries: Evaluation
and Improvement [18.633958855595232]
大言語モデル(LLM)は、特にロールプレイングシステム(RPS)分野において、対話生成を新しい領域に推進している。
既存のLLMベースのRSSは、境界シナリオで複雑なクエリと閉じ込められたクエリを扱う場合、役割と整合するのに依然として苦労している。
本研究は,MORTISE (Modular Orchestrated Trap-setting Interaction SystEm) を設計し,ロールプレイングLLMの性能向上を図る。
論文 参考訳(メタデータ) (2024-02-16T12:12:05Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳(メタデータ) (2023-11-30T03:59:31Z) - Is "A Helpful Assistant" the Best Role for Large Language Models? A
Systematic Evaluation of Social Roles in System Prompts [16.58393484184649]
本稿では,システムにおける社会的役割がモデル性能に与える影響を体系的に評価する。
提案手法は, モデルの性能を, 様々な質問に対して一貫して改善することを示す。
我々の結果は、AIシステムのためのシステムプロンプトの設計に役立てることができる。
論文 参考訳(メタデータ) (2023-11-16T17:48:55Z) - RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities
of Large Language Models [124.7443857920013]
大規模言語モデル(LLM)におけるロールプレイング能力をベンチマークし、評価し、拡張するフレームワークであるRoleLLMを紹介する。
Context-InstructとRoleGPTによって、168,093サンプルでロールプレイする最初の体系的できめ細かい文字レベルのベンチマークデータセットであるRoleBenchを作成します。
論文 参考訳(メタデータ) (2023-10-01T17:52:59Z) - Better Zero-Shot Reasoning with Role-Play Prompting [10.90357246745529]
ロールプレイプロンプトは、ほとんどのデータセットで標準のゼロショットアプローチを一貫して上回っている。
これは、大きな言語モデルの推論能力を増強する可能性を強調している。
論文 参考訳(メタデータ) (2023-08-15T11:08:30Z) - About latent roles in forecasting players in team sports [59.684024794707156]
チームスポーツは、チームメイトと相手とのインタラクションに影響を与える重要な社会的要素を含んでいる。
RolForはロールベースのForecastingのための新しいエンドツーエンドモデルです。
論文 参考訳(メタデータ) (2023-04-17T13:33:23Z) - Other Roles Matter! Enhancing Role-Oriented Dialogue Summarization via
Role Interactions [50.84439853121438]
本稿では,役割指向対話要約のための新しい役割相互作用強化手法を提案する。
クロスアテンションとデコーダのセルフアテンションインタラクションを採用し、他のロールのクリティカル情報を対話的に取得する。
提案手法は,2つの公開ロール指向対話要約データセットにおいて,強いベースラインを著しく上回る。
論文 参考訳(メタデータ) (2022-05-26T06:58:02Z) - RODE: Learning Roles to Decompose Multi-Agent Tasks [69.56458960841165]
ロールベースの学習は、ロールを使って複雑なタスクを分解することで、スケーラブルなマルチエージェント学習を実現するという約束を持っている。
本稿では,まず,環境および他のエージェントに対する影響に応じて協調行動空間をクラスタリングすることで,制約された役割行動空間に分解することを提案する。
これらの進歩により、我々の手法は、挑戦的なStarCraft IIマイクロマネジメントベンチマークを構成する14シナリオのうち10シナリオにおいて、現在の最先端のMARLアルゴリズムよりも優れています。
論文 参考訳(メタデータ) (2020-10-04T09:20:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。