論文の概要: PatternGPT :A Pattern-Driven Framework for Large Language Model Text Generation

• arxiv url: http://arxiv.org/abs/2307.00470v1
• Date: Sun, 2 Jul 2023 04:32:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 15:56:09.187319
• Title: PatternGPT :A Pattern-Driven Framework for Large Language Model Text Generation
• Title（参考訳）: PatternGPT : 大言語モデルテキスト生成のためのパターン駆動フレームワーク
• Authors: Le Xiao and Xin Shan
• Abstract要約: 本稿では,大規模言語モデルの抽出能力によってリッチなパターンを生成するパターン抽出選択フレームワークPatternGPTを提案する。 モデル生成プロセスのガイダンスをパーソナライズするための基準と最適化アルゴリズムを定義することにより、高品質なパターンを選択する。
• 参考スコア（独自算出の注目度）: 1.7259824817932292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models(LLMs) have shown excellent text generation capabilities, but there is still much space for improvement in accuracy, sometimes with grammatical errors, semantic inaccuracies, and contextual incoherence, which seriously affect the reliability of the models. These problems may originate from the difficulties and limitations encountered in the pattern extraction stage of large language models. How to utilize the generative power of large language models to generate as many possible patterns that help solve problems and find the optimal patterns from them, so as to use patterns to guide large language models to generate good content, has become a current research hotspot. In this paper, we propose a pattern extraction and selection framework, PatternGPT, which generates rich patterns through the extraction ability of large language models and draws on the idea of federation learning, where multiple agents collaborate with each other to generate diverse patterns. High-quality patterns are selected by defining criteria and optimization algorithms to personalize the guidance of the model generation process. PatternGPT has the advantages of generating diverse and useful patterns, extending relevant knowledge, facilitating efficient pattern use and transfer, and optimizing the quality of generated results and user experience, which provides an effective method for optimizing the text generation capability of large language models and is expected to drive further development in the field of intelligent dialogue and content generation. It is expected to promote further development in the field of intelligent dialogue and content generation.
• Abstract（参考訳）: 大規模言語モデル(llm)は優れたテキスト生成能力を示しているが、文法的誤りや意味的不正確さ、文脈的不整合など、モデルの信頼性に重大な影響を与える場合もあります。 これらの問題は、大規模言語モデルのパターン抽出段階で発生する困難と限界から生じる可能性がある。 大規模言語モデルの生成力を生かして可能な限り多くのパターンを生成し、問題を解決し、そのパターンから最適なパターンを見つけ出す方法、そして大規模言語モデルを用いて優れたコンテンツを生成する方法が、現在研究ホットスポットとなっている。 本稿では,大規模言語モデルの抽出能力を通じてリッチなパターンを生成するパターン抽出・選択フレームワークであるパターンgptを提案し,複数のエージェントが連携して多様なパターンを生成するフェデレーション学習のアイデアを浮き彫りにする。 モデル生成プロセスのガイダンスをパーソナライズするための基準と最適化アルゴリズムを定義することで、高品質なパターンを選択する。 PatternGPTは、多様で有用なパターンを生成し、関連する知識を拡張し、効率的なパターンの使用と転送を容易にし、生成した結果の質とユーザエクスペリエンスを最適化し、大きな言語モデルのテキスト生成能力を最適化する効果的な方法を提供し、インテリジェントな対話とコンテンツ生成の分野でさらなる発展を期待できる。 知的対話とコンテンツ生成の分野におけるさらなる発展を促進することが期待されている。

関連論文リスト

• Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation [0.20971479389679337]
  コントラスト探索を拡張した新しい復号法であるアダプティブコントラスト探索を導入する。 この結果から,異なるモデルアーキテクチャとデータセットの両面でのパフォーマンス向上が示唆された。
  論文  参考訳（メタデータ） (2024-07-26T12:23:54Z)
• Multimodal Large Language Model is a Human-Aligned Annotator for Text-to-Image Generation [87.50120181861362]
  VisionPreferは高品質できめ細かい選好データセットで、複数の選好面をキャプチャする。 我々は、VisionPrefer上で報酬モデルVP-Scoreをトレーニングし、テキストから画像への生成モデルのトレーニングを指導し、VP-Scoreの嗜好予測精度は人間のアノテーションに匹敵する。
  論文  参考訳（メタデータ） (2024-04-23T14:53:15Z)
• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• A Comparative Analysis of Conversational Large Language Models in Knowledge-Based Text Generation [5.661396828160973]
  本研究では,意味的三重項から自然言語文を生成する際に,対話型大規模言語モデルの実証分析を行う。 我々は、異なるプロンプト技術を用いて、異なる大きさの4つの大きな言語モデルを比較する。 この結果から,三重動詞化における大規模言語モデルの能力は,数発のプロンプト,後処理,効率的な微調整技術によって著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-02-02T15:26:39Z)
• RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model [93.8067369210696]
  テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。 拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。 大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
  論文  参考訳（メタデータ） (2023-09-02T03:27:20Z)
• Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
  検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。 モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
  論文  参考訳（メタデータ） (2023-05-24T16:17:36Z)
• Controllable Text Generation for Open-Domain Creativity and Fairness [36.744208990024575]
  言語生成モデルの創造性と公平性を高めるために,制御可能なテキスト生成に関する最近の研究を紹介する。 階層的生成と制約付き復号化を探求し、物語、詩、図形言語を含む創造的な言語生成に適用する。
  論文  参考訳（メタデータ） (2022-09-24T22:40:01Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Incorporating Stylistic Lexical Preferences in Generative Language Models [10.62343151429147]
  本稿では,著者の連続的な多次元語彙的嗜好を生成言語モデルに組み込むことにより,特定の著者属性を誘導する手法を提案する。 実験により,提案手法は,対象とする著者の語彙的スタイルと顕著に一致したテキストを生成することができることを示した。
  論文  参考訳（メタデータ） (2020-10-22T09:24:05Z)
• Improving Adversarial Text Generation by Modeling the Distant Future [155.83051741029732]
  テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。 本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
  論文  参考訳（メタデータ） (2020-05-04T05:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。