論文の概要: Comparing Pre-trained Human Language Models: Is it Better with Human Context as Groups, Individual Traits, or Both?
- arxiv url: http://arxiv.org/abs/2401.12492v2
- Date: Tue, 26 Mar 2024 19:28:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 22:13:36.009941
- Title: Comparing Pre-trained Human Language Models: Is it Better with Human Context as Groups, Individual Traits, or Both?
- Title(参考訳): 事前学習された人間の言語モデルの比較:グループ、個人的傾向、あるいはその両方として人間の文脈より優れているか?
- Authors: Nikita Soni, Niranjan Balasubramanian, H. Andrew Schwartz, Dirk Hovy,
- Abstract要約: 我々は、事前学習モデルと、グループ属性、個々のユーザー、および5つのユーザレベルおよび文書レベルタスクに対する組み合わせアプローチによる人間のコンテキストを比較した。
グループと個人の両方の特徴による事前学習は、年齢推定と性格評価という2つのユーザレベルの回帰タスクを著しく改善することがわかった。
以上の結果から,どちらの手法も特定のユースケースを持ち,人間中心言語モデリングの新たな道を開くことが示唆された。
- 参考スコア(独自算出の注目度): 36.03935815294279
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Incorporating human context into language models is the next frontier for human-centered natural language processing. Currently, two pre-training methods exist: group-wise attributes (e.g., over-45-year-olds) or individual traits. Group attributes are coarse -- not all 45-year-olds write the same way -- while modeling individual traits allows for a more personalized representation, but requires more complex modeling and data. So far, it is unclear which pre-training approach benefits what tasks. We compare pre-training models with human context via 1) group attributes, 2) individual users, and 3) a combined approach on 5 user- and document-level tasks. We find that pre-training with both group and individual features significantly improves the two user-level regression tasks like age estimation and personality assessment. Pre-training on individual users significantly improves the three document-level classification tasks like stance and topic detection. It even does well for downstream tasks without historical user data. Our results suggest both approaches have specific use cases, opening new avenues for human-centered language modeling.
- Abstract(参考訳): 人間のコンテキストを言語モデルに組み込むことが、人間中心の自然言語処理の次のフロンティアである。
現在、グループワイド属性(例:45歳以上)または個々の特性の2つの事前学習方法が存在する。
個々の特性をモデリングすることで、よりパーソナライズされた表現が可能になるが、より複雑なモデリングとデータが必要である。
これまでのところ、事前学習のアプローチがどのタスクに役立つのかは定かではない。
我々は、事前学習モデルと人間の文脈の比較を行う。
1)グループ属性
2)個人使用者,及び
3) ユーザレベルのタスクとドキュメントレベルのタスクを組み合わせたアプローチ。
グループと個人の両方の特徴による事前学習は、年齢推定と性格評価という2つのユーザレベルの回帰タスクを著しく改善することがわかった。
個々のユーザの事前トレーニングは、スタンスやトピック検出といった3つの文書レベルの分類タスクを大幅に改善する。
過去のユーザーデータを使わずにダウンストリームタスクでもうまく機能する。
以上の結果から,どちらの手法も特定のユースケースを持ち,人間中心言語モデリングの新たな道を開くことが示唆された。
関連論文リスト
- Sentence Level Curriculum Learning for Improved Neural Conversational
Models [0.0]
我々は、人間と会話するための機械知能の設計方法を研究する。
私たちのゴールは、各セグメントのコーパスが長い文対で構成されているように、トレーニングをセグメントに分けることです。
これは、人間の学習の望ましい"ビルドアップ"コンポーネントを模倣します。
論文 参考訳(メタデータ) (2023-05-15T17:28:59Z) - Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。
我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。
そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
論文 参考訳(メタデータ) (2023-02-06T10:28:16Z) - Task Ambiguity in Humans and Language Models [7.033374427612259]
本稿では,あいまいな分類タスクのベンチマークであるAmbiBenchを提案する。
AmbiBench上での人間とモデルの評価は、意図したタスクがどの程度うまく認識されているかを確認することで行う。
本研究では,大規模なフィードバックトレーニングを伴わずに学習した言語モデルの精度を劇的に向上させる方法について述べる。
論文 参考訳(メタデータ) (2022-12-20T18:35:33Z) - Training Language Models with Natural Language Feedback [51.36137482891037]
3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。
合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。
人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
論文 参考訳(メタデータ) (2022-04-29T15:06:58Z) - End-to-end One-shot Human Parsing [91.5113227694443]
One-shot Human Parsing (OSHP) タスクでは、テスト例によって定義されたオープンなクラスに人間を解析する必要がある。
EOP-Net (End-to-end One-shot Human Parsing Network) が提案されている。
EOP-Netは、一発セグメンテーションモデルを大きなマージンで上回る。
論文 参考訳(メタデータ) (2021-05-04T01:35:50Z) - Estimating Subjective Crowd-Evaluations as an Additional Objective to
Improve Natural Language Generation [0.0]
我々は6つの異なる言語生成モデルについて,群衆による対話コーパスを用いて微調整を行う。
これらのモデルのうち2つはマルチタスク学習を取り入れ、明確な学習目標の一部としてラインの主観評価を使用する。
生成した対話行の人間による評価では、マルチタスクモデルによって生成された発話が主観的に最も典型的であり、最も会話を前進させ、最も攻撃的であることを明らかにした。
論文 参考訳(メタデータ) (2021-04-12T06:33:16Z) - Pre-Training a Language Model Without Human Language [74.11825654535895]
先行学習データの本質的性質が下流性能の微調整にどのように寄与するかを検討する。
非構造化データで事前に訓練されたモデルは、下流のタスクでゼロから訓練されたモデルに勝った。
驚くべきことに、特定の非人間言語データの事前トレーニングがGLUEのパフォーマンスを他の非英語言語で事前トレーニングされたパフォーマンスに近づけることを明らかにしました。
論文 参考訳(メタデータ) (2020-12-22T13:38:06Z) - How Can We Accelerate Progress Towards Human-like Linguistic
Generalization? [22.810889064523167]
本論文は,PAID(Pretraining-Agnostic Identically Distributed)評価パラダイムについて記述し,批判する。
本パラダイムは,(1)任意の大きさのコーパス上の単語予測モデルの事前学習,(2)分類タスクを表すトレーニングセット上の微調整(トランスファーラーニング),(3)同トレーニングセットと同じ分布から抽出されたテストセットの評価の3段階からなる。
論文 参考訳(メタデータ) (2020-05-03T00:31:15Z) - Exploring Versatile Generative Language Model Via Parameter-Efficient
Transfer Learning [70.81910984985683]
本稿では,1つの大規模事前学習モデルを用いて,複数のダウンストリーム生成タスクを同時に微調整する効果的な方法を提案する。
5つの多様な言語生成タスクの実験は、各タスクに2-3%のパラメータを追加するだけで、モデル全体の微調整性能を維持または改善できることを示している。
論文 参考訳(メタデータ) (2020-04-08T06:18:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。