論文の概要: Human Language Modeling

• arxiv url: http://arxiv.org/abs/2205.05128v1
• Date: Tue, 10 May 2022 19:11:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 17:51:55.701646
• Title: Human Language Modeling
• Title（参考訳）: ヒューマン言語モデリング
• Authors: Nikita Soni, Matthew Matero, Niranjan Balasubramanian, and H. Andrew Schwartz
• Abstract要約: 本稿では,文書のシーケンスを接続する人間レベルが存在する言語モデリング問題に対する階層的拡張を提案する。 本稿では,約10万人のソーシャルメディアユーザを対象に,Humleタスクのための大規模トランスフォーマーモデルHaRTを紹介する。 すべてのタスクの結果が、現在の最先端の状況を満たしたり、超えたりします。
• 参考スコア（独自算出の注目度）: 20.66485974271458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language is generated by people, yet traditional language modeling views words or documents as if generated independently. Here, we propose human language modeling (HuLM), a hierarchical extension to the language modeling problem whereby a human-level exists to connect sequences of documents (e.g. social media messages) and capture the notion that human language is moderated by changing human states. We introduce, HaRT, a large-scale transformer model for the HuLM task, pre-trained on approximately 100,000 social media users, and demonstrate its effectiveness in terms of both language modeling (perplexity) for social media and fine-tuning for 4 downstream tasks spanning document- and user-levels: stance detection, sentiment classification, age estimation, and personality assessment. Results on all tasks meet or surpass the current state-of-the-art.
• Abstract（参考訳）: 自然言語は人によって生成されるが、伝統的な言語モデリングは単語や文書を独立して生成されるかのように見る。 本稿では,HuLM(Human Language Modeling)を提案する。HuLM(Human Language Modeling)は,文書のシーケンス(ソーシャルメディアメッセージなど)を接続し,人間の状態を変えることによって人間の言語が中和されるという概念を捉える,言語モデリング問題の階層的拡張である。 本稿では,HuLMタスクの大規模トランスフォーマーモデルであるHaRTを紹介し,ソーシャルメディア利用者約10万人を対象に事前トレーニングを行い,ソーシャルメディアにおける言語モデリング(複雑度)と,文書レベルとユーザレベルの4つの下流タスク(スタンス検出,感情分類,年齢推定,パーソナリティ評価)における微調整の両面での有効性を示した。 すべてのタスクの結果は、現在の最先端を満たしているか、あるいは超えている。

関連論文リスト

• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Generative Spoken Language Model based on continuous word-sized audio tokens [52.081868603603844]
  本稿では,単語サイズ連続評価音声埋め込みに基づく生成音声言語モデルを提案する。 結果として得られるモデルは、単語サイズの連続埋め込みに基づく最初の生成言語モデルである。
  論文  参考訳（メタデータ） (2023-10-08T16:46:14Z)
• Multilingual Conceptual Coverage in Text-to-Image Models [98.80343331645626]
  コンセプチュアル・カバー・アクロス言語(Conceptual Coverage Across Languages, CoCo-CroLa)とは、任意の生成的テキスト・画像システムにおいて、有形名詞の観点から学習言語に多言語対応を提供する程度をベンチマークする手法である。 各モデルについて、ソースコード中の一連の有形名詞に生成される画像の集団と、対象言語に翻訳された各名詞に生成された画像の集団とを比較することにより、ソース言語に対して与えられた対象言語の「概念的カバレッジ」を評価することができる。
  論文  参考訳（メタデータ） (2023-06-02T17:59:09Z)
• PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
  本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。 我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。 562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
  論文  参考訳（メタデータ） (2023-03-06T18:58:06Z)
• Estimating the Personality of White-Box Language Models [0.589889361990138]
  大規模なテキストコーパスで訓練された大規模言語モデルは、至る所で広範囲のアプリケーションで使用されている。 既存の研究は、これらのモデルが人間の偏見を捉え、捉えていることを示している。 これらのバイアス、特に害を引き起こす可能性のあるバイアスの多くは、十分に調査されている。 しかし、これらのモデルによって受け継がれた人間の性格特性を推測し、変化させる研究は、ほとんど、あるいは存在しない。
  論文  参考訳（メタデータ） (2022-04-25T23:53:53Z)
• Sm{\aa}prat: DialoGPT for Natural Language Generation of Swedish Dialogue by Transfer Learning [1.6111818380407035]
  自然言語対話生成のための最先端のモデルは、英語で人間のような単行会話をシミュレートする際、印象的な性能を示した。 この研究は、経験的な研究により、そのようなモデルのスウェーデン語への変換学習の可能性について調査する。
  論文  参考訳（メタデータ） (2021-10-12T18:46:43Z)
• Estimating Subjective Crowd-Evaluations as an Additional Objective to Improve Natural Language Generation [0.0]
  我々は6つの異なる言語生成モデルについて,群衆による対話コーパスを用いて微調整を行う。 これらのモデルのうち2つはマルチタスク学習を取り入れ、明確な学習目標の一部としてラインの主観評価を使用する。 生成した対話行の人間による評価では、マルチタスクモデルによって生成された発話が主観的に最も典型的であり、最も会話を前進させ、最も攻撃的であることを明らかにした。
  論文  参考訳（メタデータ） (2021-04-12T06:33:16Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)
• Multi-agent Communication meets Natural Language: Synergies between Functional and Structural Language Learning [16.776753238108036]
  本稿では,マルチエージェント通信と従来のデータ駆動型アプローチを組み合わせた自然言語学習手法を提案する。 私たちの出発点は、タスク固有の言語データではなく、ジェネリックに基づいて訓練された言語モデルです。 次に、このモデルをマルチエージェントのセルフプレイ環境に配置し、モデルへの適応や修正に使用するタスク固有の報酬を生成する。
  論文  参考訳（メタデータ） (2020-05-14T15:32:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。