論文の概要: FormLM: Recommending Creation Ideas for Online Forms by Modelling
Semantic and Structural Information
- arxiv url: http://arxiv.org/abs/2211.05284v1
- Date: Thu, 10 Nov 2022 01:32:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 15:06:08.788554
- Title: FormLM: Recommending Creation Ideas for Online Forms by Modelling
Semantic and Structural Information
- Title(参考訳): FormLM: セマンティックおよび構造情報のモデリングによるオンラインフォーム作成のアイデアの再検討
- Authors: Yijia Shao, Mengyu Zhou, Yifan Zhong, Tao Wu, Hongwei Han, Shi Han,
Gideon Huang, Dongmei Zhang
- Abstract要約: オンラインフォームをモデル化し、フォーム作成のアイデアを推奨するためにFormLMを提示します。
モデルトレーニングと評価のために、62Kのオンラインフォームを持つ最初の公開オンラインフォームデータセットを収集する。
実験の結果,FormLMはすべてのタスクにおいて汎用言語モデルよりも優れていた。
- 参考スコア(独自算出の注目度): 33.70435892949326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online forms are widely used to collect data from human and have a
multi-billion market. Many software products provide online services for
creating semi-structured forms where questions and descriptions are organized
by pre-defined structures. However, the design and creation process of forms is
still tedious and requires expert knowledge. To assist form designers, in this
work we present FormLM to model online forms (by enhancing pre-trained language
model with form structural information) and recommend form creation ideas
(including question / options recommendations and block type suggestion). For
model training and evaluation, we collect the first public online form dataset
with 62K online forms. Experiment results show that FormLM significantly
outperforms general-purpose language models on all tasks, with an improvement
by 4.71 on Question Recommendation and 10.6 on Block Type Suggestion in terms
of ROUGE-1 and Macro-F1, respectively.
- Abstract(参考訳): オンラインフォームは、人間のデータ収集に広く使われ、マルチビリオン市場を持つ。
多くのソフトウェア製品は、質問や説明が事前定義された構造によって構成される半構造化フォームを作成するためのオンラインサービスを提供する。
しかし、フォームの設計と作成プロセスはいまだに退屈で、専門家の知識が必要です。
フォームデザイナを支援するため,本研究では,オンラインフォーム(フォーム構造情報による事前学習言語モデルの拡張)をモデル化し,フォーム作成のアイデア(質問/オプション推奨やブロックタイプ提案を含む)を推奨する。
モデルのトレーニングと評価のために、我々は62kのオンラインフォームを持つ最初のパブリックオンラインフォームデータセットを収集する。
実験の結果, ROUGE-1 と Macro-F1 では, FormLM は全タスクにおいて汎用言語モデルよりも有意に優れ, 質問応答では 4.71 , ブロック型提案では 10.6 の改善が見られた。
関連論文リスト
- Bridging Semantics for Automated Web Form Testing [6.518508607788089]
我々は、Webフォームの自動テスト生成のためのFormNexusと呼ばれる革新的なアプローチを導入する。
FormNexusは、個々のフォーム要素とそれらの関係から意味的な洞察を導き出すことを強調している。
GPT-4と組み合わされたFormNexusは,フォームサブミッション状態において89%のカバレッジを実現していることを示す。
論文 参考訳(メタデータ) (2024-02-01T19:10:05Z) - Dolma: an Open Corpus of Three Trillion Tokens for Language Model
Pretraining Research [140.6355066137106]
われわれは、Webコンテンツ、科学論文、コード、パブリックドメインの書籍、ソーシャルメディア、百科事典の素材を多種に混ぜて構築した3兆の英語コーパスであるDolmaをリリースする。
本報告では、Dolmaの設計原則、構築の詳細、内容の要約を含む、Dolmaについて述べる。
Dolmaは、言語モデリングの科学を構築し研究するために設計された、最先端のオープン言語モデルとフレームワークであるOLMoのトレーニングに使用されている。
論文 参考訳(メタデータ) (2024-01-31T20:29:50Z) - ShapeGPT: 3D Shape Generation with A Unified Multi-modal Language Model [27.122194733305594]
本稿では,複数の形状関連タスクに対処するために,強力な事前学習言語モデルを活用する形状関連マルチモーダルフレームワークであるShapeGPTを提案する。
具体的には、ShapeGPTは、連続した形状を形語に識別するための単語文パラグラフフレームワークを使用し、さらにこれらの単語を形文のために組み立て、複数段落の指示文に統合する。
実験により、ShapeGPTは、テキスト・トゥ・シェイプ、シェイプ・トゥ・テキスト、シェイプ・コンプリート、形状編集など、形状関連タスクに匹敵する性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-11-29T13:26:29Z) - Struc-Bench: Are Large Language Models Really Good at Generating Complex
Structured Data? [52.17988569079598]
現在のLarge Language Models (LLM) は複雑な構造化された出力を生成する必要のあるタスクと競合する。
本稿では,この能力向上のソリューションとして,構造を考慮した微調整手法を提案する。
実験の結果,LLaMA-7Bに適用した場合,構造認識による微調整手法は自然言語の制約への順応性を著しく向上することがわかった。
論文 参考訳(メタデータ) (2023-09-16T11:31:58Z) - Prompt2Model: Generating Deployable Models from Natural Language
Instructions [74.19816829003729]
大規模言語モデル(LLM)により、システムビルダーはプロンプトによって有能なNLPシステムを作成することができる。
言い換えれば、LSMは従来の特殊目的のNLPモデルとは逆のステップである。
本稿では,LLMに提供されるプロンプトのように自然言語によるタスク記述を行う汎用手法であるPrompt2Modelを提案する。
論文 参考訳(メタデータ) (2023-08-23T17:28:21Z) - Self-Alignment with Instruction Backtranslation [162.02529653768096]
本稿では,人文テキストに対応する命令を自動ラベル付けすることで,高品質な命令従言語モデルを構築する方法を提案する。
我々の手法は命令バックトランスレーションと呼ばれ、少量のシードデータと与えられたWebコーパスに基づいて微調整された言語モデルから始まります。
論文 参考訳(メタデータ) (2023-08-11T17:47:54Z) - Benchmarking Diverse-Modal Entity Linking with Generative Models [78.93737257356784]
既存の EL データセットから様々なモード EL (DMEL) のベンチマークを構築した。
DMEL タスクにアプローチするため,マルチモーダルエンコーダ・デコーダのパラダイムに則って生成多モードモデル (GDMM) を提案する。
GDMMは、より強力なDMELベースラインを構築し、平均8.51F1スコアで最先端のタスク固有のELモデルを上回っている。
論文 参考訳(メタデータ) (2023-05-27T02:38:46Z) - LongForm: Effective Instruction Tuning with Reverse Instructions [43.7029933201002]
本稿では,逆命令によって生成されるLongForm-Cデータセットを紹介する。
まず、C4やウィキペディアなどのコーパスから、多種多様な人文文書を選択する。
逆命令を用いた人書きコーパスの例を LLM で生成する。
論文 参考訳(メタデータ) (2023-04-17T17:36:35Z) - FormNet: Structural Encoding beyond Sequential Modeling in Form Document
Information Extraction [32.04423945008829]
FormNetは、フォームの最適部分シリアライゼーションを緩和する構造対応シーケンスモデルである。
実験では、FormNetは、よりコンパクトで事前学習の少ない既存のメソッドよりも優れています。
論文 参考訳(メタデータ) (2022-03-16T06:02:02Z) - mForms : Multimodal Form-Filling with Question Answering [1.9797215742507548]
本稿では,マルチモーダルな自然言語質問回答 (QA) としてタスクを再構築し,フォームフィリングへの新たなアプローチを提案する。
GUI形式の要素(テキストフィールド、ボタン、アイコンなど)を自然言語の質問に翻訳し、これらの質問が要素のマルチモーダルなセマンティクスをキャプチャする。
その結果, この手法は, スパーストレーニング条件に対する堅牢な精度を維持するだけでなく, トレーニングデータの約10分の1をATIS上で0.97の最先端F1を達成することができた。
論文 参考訳(メタデータ) (2020-11-24T19:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。