論文の概要: RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text

• arxiv url: http://arxiv.org/abs/2305.13304v1
• Date: Mon, 22 May 2023 17:58:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 13:29:29.659893
• Title: RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text
• Title（参考訳）: recurrentgpt:(任意に)長いテキストのインタラクティブな生成
• Authors: Wangchunshu Zhou, Yuchen Eleanor Jiang, Peng Cui, Tiannan Wang, Zhenxin Xiao, Yifan Hou, Ryan Cotterell, Mrinmaya Sachan
• Abstract要約: 本稿では,RNNにおけるリカレンス機構の言語に基づくシミュララムであるRecurrentGPTを紹介する。 各時点において、RecurrentGPTはテキストの段落を生成し、言語ベースの長期記憶を更新する。 RecurrentGPTは、次世代のコンピュータ支援書き込みシステムに向けた最初のステップである。
• 参考スコア（独自算出の注目度）: 81.33699837678229
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The fixed-size context of Transformer makes GPT models incapable of generating arbitrarily long text. In this paper, we introduce RecurrentGPT, a language-based simulacrum of the recurrence mechanism in RNNs. RecurrentGPT is built upon a large language model (LLM) such as ChatGPT and uses natural language to simulate the Long Short-Term Memory mechanism in an LSTM. At each timestep, RecurrentGPT generates a paragraph of text and updates its language-based long-short term memory stored on the hard drive and the prompt, respectively. This recurrence mechanism enables RecurrentGPT to generate texts of arbitrary length without forgetting. Since human users can easily observe and edit the natural language memories, RecurrentGPT is interpretable and enables interactive generation of long text. RecurrentGPT is an initial step towards next-generation computer-assisted writing systems beyond local editing suggestions. In addition to producing AI-generated content (AIGC), we also demonstrate the possibility of using RecurrentGPT as an interactive fiction that directly interacts with consumers. We call this usage of generative models by ``AI As Contents'' (AIAC), which we believe is the next form of conventional AIGC. We further demonstrate the possibility of using RecurrentGPT to create personalized interactive fiction that directly interacts with readers instead of interacting with writers. More broadly, RecurrentGPT demonstrates the utility of borrowing ideas from popular model designs in cognitive science and deep learning for prompting LLMs. Our code is available at https://github.com/aiwaves-cn/RecurrentGPT and an online demo is available at https://www.aiwaves.org/recurrentgpt.
• Abstract（参考訳）: Transformerの固定サイズコンテキストにより、GPTモデルは任意の長さのテキストを生成することができない。 本稿では,rnnにおける再発機構の言語に基づくシミュラムであるrecurrentgptについて述べる。 RecurrentGPTはChatGPTのような大きな言語モデル(LLM)上に構築されており、自然言語を使ってLSTMのLong Short-Term Memoryメカニズムをシミュレートする。 各タイミングで、RecurrentGPTはテキストの段落を生成し、ハードドライブとプロンプトに格納された言語ベースの長短項メモリを更新する。 この繰り返し機構により、RecurrentGPTは忘れずに任意の長さのテキストを生成することができる。 人間のユーザーは自然言語の記憶を観察・編集できるため、RecurrentGPTは解釈可能であり、長いテキストを対話的に生成することができる。 recurrentgptは、ローカル編集提案以上の次世代コンピュータ支援ライティングシステムへの最初のステップである。 AI生成コンテンツ(AIGC)の作成に加えて、消費者と直接対話するインタラクティブフィクションとしてRecurrentGPTを使用する可能性も示す。 このような生成モデルの利用を,従来のAIGCの次の形式である 'AIAC' (AIAC) と呼ぶ。 さらに、リカレントGPTを用いて、作家と対話するのではなく、読者と直接対話するパーソナライズされたインタラクティブフィクションを作成する可能性を示す。 より広範に、RecurrentGPTは認知科学や深層学習において人気のあるモデルデザインからアイデアを借用し、LLMを促進させることの有用性を示した。 私たちのコードはhttps://github.com/aiwaves-cn/RecurrentGPTで利用可能です。

関連論文リスト

• Large Generative Model-assisted Talking-face Semantic Communication System [55.42631520122753]
  本研究では,LGM-TSC(Large Generative Model-assisted Talking-face Semantic Communication)システムを提案する。 送信機のジェネレーティブセマンティック・エクストラクタ(GSE)は、意味的にスパースな音声映像を高情報密度のテキストに変換する。 意味的曖昧さと修正のためのLarge Language Model (LLM)に基づくPrivate Knowledge Base (KB)。 BERT-VITS2とSadTalkerモデルを用いた生成意味再構成(GSR)により、テキストを高QoE音声ビデオに変換する。
  論文  参考訳（メタデータ） (2024-11-06T12:45:46Z)
• 'Quis custodiet ipsos custodes?' Who will watch the watchmen? On Detecting AI-generated peer-reviews [20.030884734361358]
  AIが生成したテキストが、ピアレビューを含む科学出版を損なうのではないかという懸念が高まっている。 本稿では,AIが頻繁にトークンを繰り返すことを示唆するTF(Term Frequency)モデルと,ChatGPTが再プロンプト時に同様の出力を生成するという考え方に基づくRR(Review Regeneration)モデルを紹介する。 以上の結果から,提案手法は,他のAIテキスト検出方法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-10-13T08:06:08Z)
• AuthentiGPT: Detecting Machine-Generated Text via Black-Box Language Models Denoising [4.924903495092775]
  大きな言語モデル(LLM)は、人間の文章を忠実に模倣するテキストを作成し、潜在的に誤用につながる可能性がある。 本稿では,機械生成テキストと人文テキストを区別する効率的な分類器であるAuthentiGPTを提案する。 ドメイン固有のデータセットの0.918 AUROCスコアで、AuthentiGPTは、他の商用アルゴリズムよりも有効であることを示した。
  論文  参考訳（メタデータ） (2023-11-13T19:36:54Z)
• AmadeusGPT: a natural language interface for interactive animal behavioral analysis [65.55906175884748]
  動作の自然言語記述をマシン実行可能なコードに変換する自然言語インタフェースであるAmadeusGPTを紹介する。 MABE 2022の動作課題タスクで最先端のパフォーマンスを実現できることを示す。 アマデウスGPTは、深い生物学的知識、大規模言語モデル、そしてコアコンピュータビジョンモジュールをより自然に知的なシステムに統合する新しい方法を提示している。
  論文  参考訳（メタデータ） (2023-07-10T19:15:17Z)
• Unsupervised Text Embedding Space Generation Using Generative Adversarial Networks for Text Synthesis [0.43512163406551996]
  本稿では,テキスト埋め込み空間生成支援ネットワーク(TESGAN)を提案する。 TESGANは、トレーニングデータのテキストを直接参照しない教師なし学習を行い、データの記憶問題を克服する。
  論文  参考訳（メタデータ） (2023-06-19T10:22:12Z)
• Transformer Working Memory Enables Regular Language Reasoning and Natural Language Length Extrapolation [72.71398034617607]
  そこで我々はRegularGPTというトランスフォーマーの変種を提案する。 ウェイトシェア、アダプティブディープス、スライディングディレイテッド・アテンションの新たな組み合わせにより、RegularGPTは深さ次元に沿ってワーキングメモリを構成する。 自然言語長外挿作業においてRegularGPTを試験した結果,局所的な窓の注意効果を再検討することがわかった。
  論文  参考訳（メタデータ） (2023-05-05T18:54:40Z)
• Multiversal views on language models [0.0]
  生成言語モデルが多言語生成として概念化されるフレームワークを提案する。 このフレームワークは、人間の想像力にも適用され、フィクションの読み書き方法の中心となります。 私たちは、人間の想像力をAIに組み合わせて書くことのできる、新しい形のインターフェースを通じて、この共通性を探ることを求めている。
  論文  参考訳（メタデータ） (2021-02-12T08:28:28Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。