論文の概要: Text-to-Model: Text-Conditioned Neural Network Diffusion for Train-Once-for-All Personalization

• arxiv url: http://arxiv.org/abs/2405.14132v1
• Date: Thu, 23 May 2024 03:11:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 19:15:00.602040
• Title: Text-to-Model: Text-Conditioned Neural Network Diffusion for Train-Once-for-All Personalization
• Title（参考訳）: テキスト・ツー・モデル:全方向パーソナライズのためのテキスト記述型ニューラルネットワーク拡散
• Authors: Zexi Li, Lingzhi Gao, Chao Wu,
• Abstract要約: テキスト・ツー・モデル生成におけるGenAIの能力について検討する。 具体的には、列車一対一パーソナライズという現実的なシナリオについて検討する。 我々は、全個人化のためのテキスト条件付きニューラルネットワーク拡散であるTinaを提示する。
• 参考スコア（独自算出の注目度）: 2.7915382654629206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative artificial intelligence (GenAI) has made significant progress in understanding world knowledge and generating content from human languages across various modalities, like text-to-text large language models, text-to-image stable diffusion, and text-to-video Sora. While in this paper, we investigate the capability of GenAI for text-to-model generation, to see whether GenAI can comprehend hyper-level knowledge embedded within AI itself parameters. Specifically, we study a practical scenario termed train-once-for-all personalization, aiming to generate personalized models for diverse end-users and tasks using text prompts. Inspired by the recent emergence of neural network diffusion, we present Tina, a text-conditioned neural network diffusion for train-once-for-all personalization. Tina leverages a diffusion transformer model conditioned on task descriptions embedded using a CLIP model. Despite the astronomical number of potential personalized tasks (e.g., $1.73\times10^{13}$), by our design, Tina demonstrates remarkable in-distribution and out-of-distribution generalization even trained on small datasets ($\sim 1000$). We further verify whether and how \Tina understands world knowledge by analyzing its capabilities under zero-shot/few-shot image prompts, different numbers of personalized classes, prompts of natural language descriptions, and predicting unseen entities.
• Abstract（参考訳）: 生成人工知能(GenAI)は、テキストからテキストまでの大規模言語モデル、テキストから画像への安定した拡散、テキストからビデオへのソラなど、多岐にわたる世界的知識の理解と人間の言語からのコンテンツ生成において大きな進歩を遂げている。 本稿では、テキスト・モデル生成におけるGenAIの能力について検討し、GenAIがAI自体のパラメータに埋め込まれた超レベルの知識を理解できるかを検討する。 具体的には、テキストプロンプトを用いて、多様なエンドユーザやタスクに対してパーソナライズされたモデルを生成することを目的とした、Train-once-for-allパーソナライゼーションと呼ばれる現実的なシナリオについて検討する。 最近のニューラルネットワーク拡散の出現に触発されて、私たちはTinaを紹介した。 Tinaは、CLIPモデルを使用して埋め込まれたタスク記述に条件付き拡散トランスフォーマーモデルを活用する。 私たちの設計では、潜在的なパーソナライズされたタスクの数(例えば、$1.73\times10^{13}$)にもかかわらず、Tinaは、小さなデータセット(\sim 1000$)でトレーニングされたとしても、顕著な分布内および分布外一般化を示している。 さらに,ゼロショット/ファウショット画像のプロンプト,パーソナライズされたクラス数,自然言語記述のプロンプト,未知のエンティティの予測によって,世界の知識をどう理解するかを検証する。

関連論文リスト

• Seeing in Words: Learning to Classify through Language Bottlenecks [59.97827889540685]
  人間は簡潔で直感的な説明を使って予測を説明することができる。 特徴表現がテキストである視覚モデルでは,画像ネットイメージを効果的に分類できることを示す。
  論文  参考訳（メタデータ） (2023-06-29T00:24:42Z)
• An Overview on Controllable Text Generation via Variational Auto-Encoders [15.97186478109836]
  ニューラルベース生成モデリングの最近の進歩は、コンピュータシステムが人間と会話できるという期待を再燃させた。 変分自動エンコーダ(VAE)のような潜在変数モデル(LVM)は、テキストデータの分布パターンを特徴付けるように設計されている。 この概要は、既存の生成方式、テキスト変分自動エンコーダに関連する問題、および制御可能な生成に関するいくつかのアプリケーションについて概説する。
  論文  参考訳（メタデータ） (2022-11-15T07:36:11Z)
• Visualize Before You Write: Imagination-Guided Open-Ended Text Generation [68.96699389728964]
  我々は、機械生成画像を用いて、オープンエンドテキスト生成における言語モデルをガイドするiNLGを提案する。 オープンエンドテキスト生成タスクにおけるiNLGの有効性について実験と解析を行った。
  論文  参考訳（メタデータ） (2022-10-07T18:01:09Z)
• Leveraging Natural Supervision for Language Representation Learning and Generation [8.083109555490475]
  自然発生型監視を用いて,ニューラルネットワークのトレーニングと評価を改善するための3行の作業について述べる。 まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。 文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T17:26:03Z)
• Knowledge Graph-Enabled Text-Based Automatic Personality Prediction [8.357801312689622]
  テキストベースの自動パーソナリティ予測(APP)は、生成/交換されたテキストコンテンツに基づいて個人個人のパーソナリティを自動予測する。 本稿では,ビッグファイブの人格特性に依存するテキストベースのAPPに対して,知識グラフを利用した新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-03-17T06:01:45Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
  中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。 文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。 本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-04-15T02:36:49Z)
• Deep Learning for Text Style Transfer: A Survey [71.8870854396927]
  テキストスタイル転送は、生成したテキストの特定の属性を制御することを目的として、自然言語生成において重要なタスクである。 2017年の最初のニューラルテキストスタイル転送作業以降,100以上の代表的な記事を対象とした,ニューラルテキストスタイル転送の研究の体系的な調査を行う。 タスクの定式化、既存のデータセットとサブタスク、評価、並列データと非並列データの存在下での豊富な方法論について論じる。
  論文  参考訳（メタデータ） (2020-11-01T04:04:43Z)
• Neural Language Generation: Formulation, Methods, and Evaluation [13.62873478165553]
  ニューラルネットワークに基づく生成モデリングの最近の進歩は、人間とシームレスに会話できるコンピュータシステムの実現への期待を再燃させた。 大規模データセットでトレーニングされた高容量ディープラーニングモデルは、明示的な監視信号の欠如にもかかわらず、データのパターンを学習する非並列的な能力を示している。 これらの生成モデルが生成するテキストの品質を評価する標準的な方法は存在しないため、フィールドの進行に深刻なボトルネックが生じる。
  論文  参考訳（メタデータ） (2020-07-31T00:08:28Z)
• AttViz: Online exploration of self-attention for transparent neural language modeling [7.574392147428978]
  本研究では,AttVizを提案する。AttVizは,個々のテキストトークンに関連付けられた自己注意値の探索を行うオンラインツールキットである。 既存のディープラーニングパイプラインが、AttVizに適したアウトプットを生成し、最小限の労力で、アテンションヘッドとアグリゲーションの新たな視覚化を提供する方法を示します。
  論文  参考訳（メタデータ） (2020-05-12T12:21:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。