論文の概要: CollabStory: Multi-LLM Collaborative Story Generation and Authorship Analysis
- arxiv url: http://arxiv.org/abs/2406.12665v1
- Date: Tue, 18 Jun 2024 14:35:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 18:38:36.937545
- Title: CollabStory: Multi-LLM Collaborative Story Generation and Authorship Analysis
- Title（参考訳）: CollabStory: マルチLLMコラボレーションによるストーリ生成とオーサリング分析
- Authors: Saranya Venkatraman, Nafis Irtiza Tripto, Dongwon Lee,
- Abstract要約: 私たちはCollabStoryと呼ばれる、初めてLLM生成のコラボレーティブなストーリーデータセットを生成します。
オープンソース命令チューニング LLM を用いて,32k 以上のストーリーを生成する。
我々は、人間と人間の複数著者によるタスクや分析の標準となるPANタスクを拡張した。
- 参考スコア（独自算出の注目度）: 5.929552001093879
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rise of unifying frameworks that enable seamless interoperability of Large Language Models (LLMs) has made LLM-LLM collaboration for open-ended tasks a possibility. Despite this, there have not been efforts to explore such collaborative writing. We take the next step beyond human-LLM collaboration to explore this multi-LLM scenario by generating the first exclusively LLM-generated collaborative stories dataset called CollabStory. We focus on single-author ($N=1$) to multi-author (up to $N=5$) scenarios, where multiple LLMs co-author stories. We generate over 32k stories using open-source instruction-tuned LLMs. Further, we take inspiration from the PAN tasks that have set the standard for human-human multi-author writing tasks and analysis. We extend their authorship-related tasks for multi-LLM settings and present baselines for LLM-LLM collaboration. We find that current baselines are not able to handle this emerging scenario. Thus, CollabStory is a resource that could help propel an understanding as well as the development of techniques to discern the use of multiple LLMs. This is crucial to study in the context of writing tasks since LLM-LLM collaboration could potentially overwhelm ongoing challenges related to plagiarism detection, credit assignment, maintaining academic integrity in educational settings, and addressing copyright infringement concerns. We make our dataset and code available at \texttt{\url{https://github.com/saranya-venkatraman/multi_llm_story_writing}}.
- Abstract（参考訳）: LLM(Large Language Models)のシームレスな相互運用性を可能にする統一フレームワークの台頭により、オープンエンドタスクのためのLLM-LLMコラボレーションが可能になった。
それにもかかわらず、このような共同執筆を探求する努力は行われていない。
私たちは、このマルチLLMシナリオを探求するために、人間とLLMのコラボレーションを超えて、CollabStoryと呼ばれる最初のLLM生成コラボレーティブなストーリーデータセットを生成します。
我々は、複数のLLMが共著者ストーリーを共著者とする(最大$N=5$)シナリオへのシングル著者(N=1$)に焦点を当てる。
オープンソース命令チューニング LLM を用いて,32k 以上のストーリーを生成する。
さらに,人間-人間共著者によるタスク・分析の標準となるPANタスクから着想を得た。
複数LLM設定のためのオーサシップ関連タスクを拡張し,LLM-LLMコラボレーションのためのベースラインを提示する。
現在のベースラインでは、この新たなシナリオに対処できません。
CollabStoryは、複数のLSMの使用を識別する技術開発だけでなく、理解を促進するのに役立つリソースである。
LLMとLLMのコラボレーションは、盗作行為の検出、クレジットの割り当て、教育環境における学術的整合性の維持、著作権侵害の懸念への対処など、進行中の課題を克服する可能性がある。
データセットとコードは、texttt{\url{https://github.com/saranya-venkatraman/multi_llm_story_writing}}で公開しています。
関連論文リスト
- Multiverse of Greatness: Generating Story Branches with LLMs [0.6283043694426244]
本稿では,動的コンテキストウィンドウ履歴を持つグラフベースのコンテンツを生成するための LLM と対話する新しいフレームワークである Dynamic Context Prompting/Programming (DCP/P) を提案する。
LLMにコンテキスト履歴を提供しず,初期ストーリデータのみに依存するDCP/Pをベースラインに対して評価する。
我々は,それぞれのアプローチから,客観的に最高のパフォーマンスを得られるゲームの品質を質的に検討する。
論文 参考訳（メタデータ） (2024-11-22T02:11:37Z) - LLM$\times$MapReduce: Simplified Long-Sequence Processing using Large Language Models [73.13933847198395]
本稿では,文書理解を包括的に行うための分割・対数戦略を利用して,長文処理のための学習自由フレームワークを提案する。
提案された LLM$times$MapReduce フレームワークは、ドキュメント全体を LLM が読み取るためにいくつかのチャンクに分割し、中間回答を集約して最終的な出力を生成する。
論文 参考訳（メタデータ） (2024-10-12T03:13:44Z) - CoRA: Collaborative Information Perception by Large Language Model's Weights for Recommendation [13.867950651601483]
LLM(Large Language Models)における協調情報の導入は,LLMを推奨に適応させる上で有望な手法である。
既存の手法では、テキストトークンと協調的な特徴を統一シーケンス入力に結合することでこれを実現する。
協調的なクエリジェネレータを備えた新しいパラダイムである textbfCollaborative textbfLoRA を提案する。
論文 参考訳（メタデータ） (2024-08-20T08:36:59Z) - Prompto: An open source library for asynchronous querying of LLM endpoints [1.5558845602219702]
promptoはオープンソースのPythonライブラリで、Large Language Modelエンドポイントの非同期クエリを容易にする。
我々のライブラリーは、研究者や開発者がより効果的にLLMと対話できるようにし、より高速な実験と評価を可能にします。
論文 参考訳（メタデータ） (2024-08-12T15:19:59Z) - Text-like Encoding of Collaborative Information in Large Language Models for Recommendation [58.87865271693269]
BinLLMはLarge Language Models for Recommendation (LLMRec)とシームレスに連携する新しい手法である。
BinLLMは、外部モデルからの協調的な埋め込みをバイナリシーケンスに変換する。
BinLLMは、ドット決定記法を用いてバイナリシーケンスを圧縮するオプションを提供し、過度に長い長さを避ける。
論文 参考訳（メタデータ） (2024-06-05T12:45:25Z) - LLM Attributor: Interactive Visual Attribution for LLM Generation [29.116016627864095]
Pythonライブラリは、大規模な言語モデルのデータ属性をトレーニングするためのインタラクティブな視覚化を提供する。
我々のライブラリは、LCMのテキスト生成をデータポイントのトレーニングに素早く対応させる新しい方法を提供する。
論文 参考訳（メタデータ） (2024-04-01T13:16:34Z) - PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳（メタデータ） (2024-03-06T15:33:32Z) - Benchmarking LLMs on the Semantic Overlap Summarization Task [9.656095701778975]
本稿では,セマンティック・オーバーラップ・サマリゼーション(SOS)タスクにおいて,Large Language Models (LLM) を包括的に評価する。
本稿では, ROUGE, BERTscore, SEM-F1$などの定評ある指標を, 2種類の代替物語のデータセット上で報告する。
論文 参考訳（メタデータ） (2024-02-26T20:33:50Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳（メタデータ） (2024-01-19T05:02:46Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳（メタデータ） (2024-01-14T16:17:07Z) - Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A
Preliminary Study on Writing Assistance [60.40541387785977]
小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。
本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。
実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
論文 参考訳（メタデータ） (2023-05-22T16:56:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。