論文の概要: HTLM: Hyper-Text Pre-Training and Prompting of Language Models

• arxiv url: http://arxiv.org/abs/2107.06955v1
• Date: Wed, 14 Jul 2021 19:39:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-17 03:58:07.747606
• Title: HTLM: Hyper-Text Pre-Training and Prompting of Language Models
• Title（参考訳）: HTLM: 言語モデルのハイパーテキスト事前学習とプロンプト
• Authors: Armen Aghajanyan, Dmytro Okhonko, Mike Lewis, Mandar Joshi, Hu Xu, Gargi Ghosh, Luke Zettlemoyer
• Abstract要約: 大規模なWebクローリングで訓練されたハイパーテキスト言語モデルであるHTLMを紹介する。 単純化したHTML上でのBARTスタイルのデノベーション損失による事前訓練は、広範囲のタスクや監督レベルに対して非常に効果的な転送を可能にすることを示す。 我々は,HTLMに対して,テキストプロンプトが既存のLMに対して行うことよりも,データ効率の面で高い価値を提供することを発見した。
• 参考スコア（独自算出の注目度）: 52.32659647159799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce HTLM, a hyper-text language model trained on a large-scale web crawl. Modeling hyper-text has a number of advantages: (1) it is easily gathered at scale, (2) it provides rich document-level and end-task-adjacent supervision (e.g. class and id attributes often encode document category information), and (3) it allows for new structured prompting that follows the established semantics of HTML (e.g. to do zero-shot summarization by infilling title tags for a webpage that contains the input text). We show that pretraining with a BART-style denoising loss directly on simplified HTML provides highly effective transfer for a wide range of end tasks and supervision levels. HTLM matches or exceeds the performance of comparably sized text-only LMs for zero-shot prompting and fine-tuning for classification benchmarks, while also setting new state-of-the-art performance levels for zero-shot summarization. We also find that hyper-text prompts provide more value to HTLM, in terms of data efficiency, than plain text prompts do for existing LMs, and that HTLM is highly effective at auto-prompting itself, by simply generating the most likely hyper-text formatting for any available training data. We will release all code and models to support future HTLM research.
• Abstract（参考訳）: HTLMは大規模Webクローリングで訓練されたハイパーテキスト言語モデルである。 ハイパーテキストのモデリングにはいくつかの利点がある: (1) スケールで簡単に収集でき、(2) リッチなドキュメントレベルとエンドタスクの監視を提供する(例)。 クラスとIDの属性は文書のカテゴリ情報をエンコードすることが多い)、(3)HTMLの確立したセマンティクスに従う新しい構造化プロンプトを可能にする。 入力テキストを含むWebページのタイトルタグを埋め込むことで、ゼロショット要約を行う。 単純化したHTML上でのBARTスタイルのデノベーション損失による事前訓練は、広範囲のタスクや監督レベルに対して非常に効果的な転送を可能にすることを示す。 HTLMは、ゼロショットのプロンプトと微調整のための比較可能なサイズのテキストのみのLMの性能と、ゼロショットの要約のための新しい最先端のパフォーマンスレベルを設定する。 また,HTLM は,既存の LM に対して行うような平易なテキストプロンプトよりも,HTLM に対して高い価値を提供するとともに,利用可能なトレーニングデータに対して最も可能性の高いハイパーテキストフォーマッティングを生成することで,自動プロンプト自体を効果的に行うことができることも見出した。 将来のHTLM研究をサポートするため、すべてのコードとモデルをリリースします。

関連論文リスト

• Integrating Planning into Single-Turn Long-Form Text Generation [66.08871753377055]
  長文コンテンツを生成するための計画案を提案する。 私たちの主な新規性は、複数のプロンプトや計画のラウンドを必要としない単一の補助的なタスクにあります。 実験では,LLMを補助タスクで微調整し,高品質な文書を生成する,異なる領域からの2つのデータセットを実証した。
  論文  参考訳（メタデータ） (2024-10-08T17:02:40Z)
• Fine-Tuned 'Small' LLMs (Still) Significantly Outperform Zero-Shot Generative AI Models in Text Classification [0.0]
  Generative AIは、テキスト分類タスク用の小さなBERTスタイルのLLMを微調整する、シンプルでプロンプトベースの代替手段を提供する。 テキスト分類において、より小さく微調整されたLLMは、より大きく、ゼロショットの引き起こされるモデルよりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-12T21:46:13Z)
• 5W1H Extraction With Large Language Models [27.409473072672277]
  5W1Hフレームワークによる重要なニュース要素の抽出は、イベント抽出とテキスト要約に不可欠である。 ChatGPTは、より長いニューステキストの処理やコンテキスト内の特定の属性の分析において問題に直面している。 我々は、ゼロショット/ファウショットからのいくつかの戦略を設計し、より効率的な微調整を行い、元のニュース文書から5W1Hアスペクトを抽出する。
  論文  参考訳（メタデータ） (2024-05-25T09:42:58Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• A Real-World WebAgent with Planning, Long Context Understanding, and Program Synthesis [69.15016747150868]
  本稿では,WebAgentについて紹介する。WebAgentは自己経験から学習し,実際のWebサイト上でタスクを完了させるエージェントである。 WebAgentは、指示を標準のサブ命令に分解し、長いHTMLドキュメントをタスク関連スニペットに要約し、ウェブサイトで作用する計画である。 我々は、我々のモジュラーレシピが実際のWebサイトの成功を50%以上改善し、HTML-T5が様々なHTML理解タスクを解決する最良のモデルであることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-24T14:56:30Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Understanding HTML with Large Language Models [73.92747433749271]
  大規模言語モデル(LLM)は、様々な自然言語タスクにおいて例外的な性能を示している。 我々は,HTML 理解モデル (微調整 LLM ) と,その機能に関する3つのタスクの詳細な分析に貢献する。 本稿では,標準自然言語コーパスで事前訓練されたLLMが,HTML理解タスクに極めて適していることを示す。
  論文  参考訳（メタデータ） (2022-10-08T07:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。