論文の概要: CollabStory: Multi-LLM Collaborative Story Generation and Authorship Analysis
- arxiv url: http://arxiv.org/abs/2406.12665v1
- Date: Tue, 18 Jun 2024 14:35:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 18:38:36.937545
- Title: CollabStory: Multi-LLM Collaborative Story Generation and Authorship Analysis
- Title（参考訳）: CollabStory: マルチLLMコラボレーションによるストーリ生成とオーサリング分析
- Authors: Saranya Venkatraman, Nafis Irtiza Tripto, Dongwon Lee,
- Abstract要約: 私たちはCollabStoryと呼ばれる、初めてLLM生成のコラボレーティブなストーリーデータセットを生成します。
オープンソース命令チューニング LLM を用いて,32k 以上のストーリーを生成する。
我々は、人間と人間の複数著者によるタスクや分析の標準となるPANタスクを拡張した。
- 参考スコア（独自算出の注目度）: 5.929552001093879
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rise of unifying frameworks that enable seamless interoperability of Large Language Models (LLMs) has made LLM-LLM collaboration for open-ended tasks a possibility. Despite this, there have not been efforts to explore such collaborative writing. We take the next step beyond human-LLM collaboration to explore this multi-LLM scenario by generating the first exclusively LLM-generated collaborative stories dataset called CollabStory. We focus on single-author ($N=1$) to multi-author (up to $N=5$) scenarios, where multiple LLMs co-author stories. We generate over 32k stories using open-source instruction-tuned LLMs. Further, we take inspiration from the PAN tasks that have set the standard for human-human multi-author writing tasks and analysis. We extend their authorship-related tasks for multi-LLM settings and present baselines for LLM-LLM collaboration. We find that current baselines are not able to handle this emerging scenario. Thus, CollabStory is a resource that could help propel an understanding as well as the development of techniques to discern the use of multiple LLMs. This is crucial to study in the context of writing tasks since LLM-LLM collaboration could potentially overwhelm ongoing challenges related to plagiarism detection, credit assignment, maintaining academic integrity in educational settings, and addressing copyright infringement concerns. We make our dataset and code available at \texttt{\url{https://github.com/saranya-venkatraman/multi_llm_story_writing}}.
- Abstract（参考訳）: LLM(Large Language Models)のシームレスな相互運用性を可能にする統一フレームワークの台頭により、オープンエンドタスクのためのLLM-LLMコラボレーションが可能になった。
それにもかかわらず、このような共同執筆を探求する努力は行われていない。
私たちは、このマルチLLMシナリオを探求するために、人間とLLMのコラボレーションを超えて、CollabStoryと呼ばれる最初のLLM生成コラボレーティブなストーリーデータセットを生成します。
我々は、複数のLLMが共著者ストーリーを共著者とする(最大$N=5$)シナリオへのシングル著者(N=1$)に焦点を当てる。
オープンソース命令チューニング LLM を用いて,32k 以上のストーリーを生成する。
さらに,人間-人間共著者によるタスク・分析の標準となるPANタスクから着想を得た。
複数LLM設定のためのオーサシップ関連タスクを拡張し,LLM-LLMコラボレーションのためのベースラインを提示する。
現在のベースラインでは、この新たなシナリオに対処できません。
CollabStoryは、複数のLSMの使用を識別する技術開発だけでなく、理解を促進するのに役立つリソースである。
LLMとLLMのコラボレーションは、盗作行為の検出、クレジットの割り当て、教育環境における学術的整合性の維持、著作権侵害の懸念への対処など、進行中の課題を克服する可能性がある。
データセットとコードは、texttt{\url{https://github.com/saranya-venkatraman/multi_llm_story_writing}}で公開しています。
関連論文リスト
- Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models [32.336273322481276]
多様な機能にもかかわらず、Large Language Models (LLM) は様々な長所と短所を示す。
これらの課題に対処するため、最近の研究はLLMの協調戦略を探求している。
本稿では,この新たな研究領域の概要を概観し,そのようなコラボレーションの背景にあるモチベーションを明らかにする。
論文 参考訳（メタデータ） (2024-07-08T16:29:08Z) - LLM Attributor: Interactive Visual Attribution for LLM Generation [29.116016627864095]
Pythonライブラリは、大規模な言語モデルのデータ属性をトレーニングするためのインタラクティブな視覚化を提供する。
我々のライブラリは、LCMのテキスト生成をデータポイントのトレーニングに素早く対応させる新しい方法を提供する。
論文 参考訳（メタデータ） (2024-04-01T13:16:34Z) - Learning to Decode Collaboratively with Multiple Language Models [40.031526453155415]
本稿では,複数の大規模言語モデル (LLM) に,トークンレベルで世代間をインターリーブすることで協調する手法を提案する。
復号化中のトークンレベルのコラボレーションは、各モデルの専門知識を、手元にある特定のタスクに合わせて統合することを可能にする。
論文 参考訳（メタデータ） (2024-03-06T17:23:28Z) - PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳（メタデータ） (2024-03-06T15:33:32Z) - Benchmarking LLMs on the Semantic Overlap Summarization Task [9.656095701778975]
本稿では,セマンティック・オーバーラップ・サマリゼーション(SOS)タスクにおいて,Large Language Models (LLM) を包括的に評価する。
本稿では, ROUGE, BERTscore, SEM-F1$などの定評ある指標を, 2種類の代替物語のデータセット上で報告する。
論文 参考訳（メタデータ） (2024-02-26T20:33:50Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳（メタデータ） (2024-01-19T05:02:46Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳（メタデータ） (2024-01-14T16:17:07Z) - LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis [18.775126929754833]
Thematic Analysis (TA)は、多くの分野や分野における定性的データを解析するために広く使われている。
ヒューマンコーダはデータの解釈とコーディングを複数のイテレーションで開発し、より深くする。
In-context Learning (ICL) を用いたTAを実現するための人間-LLM協調フレームワーク(LLM-in-the-loop)を提案する。
論文 参考訳（メタデータ） (2023-10-23T17:05:59Z) - A Survey on Multimodal Large Language Models [71.63375558033364]
GPT-4Vで表されるマルチモーダル大言語モデル(MLLM)は、新たな研究ホットスポットとなっている。
本稿では,MLLMの最近の進歩を追跡・要約することを目的とする。
論文 参考訳（メタデータ） (2023-06-23T15:21:52Z) - Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A
Preliminary Study on Writing Assistance [60.40541387785977]
小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。
本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。
実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
論文 参考訳（メタデータ） (2023-05-22T16:56:44Z) - Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。
より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。
ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
論文 参考訳（メタデータ） (2023-04-17T09:27:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。