論文の概要: TextBox 2.0: A Text Generation Library with Pre-trained Language Models
- arxiv url: http://arxiv.org/abs/2212.13005v1
- Date: Mon, 26 Dec 2022 03:50:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 14:26:44.295968
- Title: TextBox 2.0: A Text Generation Library with Pre-trained Language Models
- Title（参考訳）: textbox 2.0: 事前学習された言語モデルを持つテキスト生成ライブラリ
- Authors: Tianyi Tang, Junyi Li, Zhipeng Chen, Yiwen Hu, Zhuohao Yu, Wenxun Dai,
Zican Dong, Xiaoxue Cheng, Yuhao Wang, Wayne Xin Zhao, Jian-Yun Nie, and
Ji-Rong Wen
- Abstract要約: 本稿では,事前学習言語モデル(PLM)の利用に着目し,包括的で統一されたライブラリであるTextBox 2.0を提案する。
包括的に言えば、私たちのライブラリは、13ドルの共通テキスト生成タスクと、それに対応する8,3ドルのデータセットをカバーしています。
また、効率的なトレーニング戦略を4ドルで実装し、スクラッチから新しいPLMを事前トレーニングするための4ドル世代目標を提供します。
- 参考スコア（独自算出の注目度）: 72.49946755856935
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To facilitate research on text generation, this paper presents a
comprehensive and unified library, TextBox 2.0, focusing on the use of
pre-trained language models (PLMs). To be comprehensive, our library covers
$13$ common text generation tasks and their corresponding $83$ datasets and
further incorporates $45$ PLMs covering general, translation, Chinese,
dialogue, controllable, distilled, prompting, and lightweight PLMs. We also
implement $4$ efficient training strategies and provide $4$ generation
objectives for pre-training new PLMs from scratch. To be unified, we design the
interfaces to support the entire research pipeline (from data loading to
training and evaluation), ensuring that each step can be fulfilled in a unified
way. Despite the rich functionality, it is easy to use our library, either
through the friendly Python API or command line. To validate the effectiveness
of our library, we conduct extensive experiments and exemplify four types of
research scenarios. The project is released at the link:
https://github.com/RUCAIBox/TextBox.
- Abstract（参考訳）: 本稿では,テキスト生成の研究を容易にするために,事前学習言語モデル(PLM)の利用に着目した,包括的で統一化されたTextBox 2.0を提案する。
このライブラリには、一般的なテキスト生成タスクと、それに対応する8ドルのデータセットが含まれており、さらに一般、翻訳、中国語、対話、制御可能、蒸留、プロンプト、軽量のPLMをカバーする45ドルのPLMが組み込まれています。
また、効率的なトレーニング戦略を4ドルで実装し、スクラッチから新しいPLMを事前トレーニングするための4ドル世代目標を提供します。
統一するために、研究パイプライン全体をサポートするインターフェース(データローディングからトレーニングと評価まで)を設計し、各ステップが統一された方法で実行可能であることを保証します。
豊富な機能にもかかわらず、フレンドリーなpython apiまたはコマンドラインを介して、ライブラリを簡単に利用できます。
図書館の有効性を検証するため,大規模な実験を行い,4種類の研究シナリオを実証した。
プロジェクトはリンクでリリースされた。 https://github.com/RUCAIBox/TextBox。
関連論文リスト
- How do Large Language Models Handle Multilingualism? [81.15060972112563]
本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。
LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。
中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
論文 参考訳（メタデータ） (2024-02-29T02:55:26Z) - LAMPAT: Low-Rank Adaption for Multilingual Paraphrasing Using Adversarial Training [19.173992333194683]
パラフレーズ(英: Paraphrase)とは、異なる単語や文構造を用いて同じ意味を伝えるテキストである。
これまでの研究は機械翻訳の知識を活用し、ゼロショット機械翻訳によるパラフレーズを同じ言語で生成してきた。
単言語データセットが人間に似た多文を生成するのに十分である最初の教師なし多言語パラフレーズモデル LAMPAT を提案する。
論文 参考訳（メタデータ） (2024-01-09T04:19:16Z) - Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。
別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。
そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
論文 参考訳（メタデータ） (2024-01-04T18:59:49Z) - Private-Library-Oriented Code Generation with Large Language Models [52.73999698194344]
本稿では,大規模言語モデル(LLM)をプライベートライブラリのコード生成に活用することに焦点を当てる。
プログラマがプライベートコードを書く過程をエミュレートする新しいフレームワークを提案する。
TorchDataEval、TorchDataComplexEval、MonkeyEval、BeatNumEvalの4つのプライベートライブラリベンチマークを作成しました。
論文 参考訳（メタデータ） (2023-07-28T07:43:13Z) - Learning to Transfer Prompts for Text Generation [97.64625999380425]
転送可能なテキスト生成のための新しいプロンプトベース手法(PTG)を提案する。
まず、PTGは、様々なソース生成タスクの一連のソースプロンプトを学習し、ターゲット生成タスクを実行するためのターゲットプロンプトとしてこれらのプロンプトを転送する。
広範な実験では、PTGは微調整法よりも競争力または優れた結果が得られる。
論文 参考訳（メタデータ） (2022-05-03T14:53:48Z) - Zero-Shot Recommendation as Language Modeling [1.0312968200748118]
既製の事前学習言語モデル(LM)を用いた推薦フレームワークを提案する。
我々は、LM確率で$u$と$m$の間の親和性を推定するテキストプロンプトを構築した。
我々は、コーパス分析でアイデアを動機付け、いくつかのプロンプト構造を評価し、LMベースの推奨と異なるデータ構造で訓練された標準行列分解を比較した。
論文 参考訳（メタデータ） (2021-12-08T09:16:03Z) - GrASP: A Library for Extracting and Exploring Human-Interpretable
Textual Patterns [25.350957495556226]
テキストデータからパターンを描画するアルゴリズムであるGrASP用のPythonライブラリを提供します。
このライブラリはwebベースのインタフェースを備えており、ユーザーがデータや抽出されたパターンを便利に探索できる。
論文 参考訳（メタデータ） (2021-04-08T17:58:03Z) - A Multi-Perspective Architecture for Semantic Code Search [58.73778219645548]
テキストマッチングのための新しい多言語間ニューラルネットワークを提案する。
CoNaLaデータセットを用いた実験により,提案したモデルでは,従来の手法よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-05-06T04:46:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。