論文の概要: SOCIALITE-LLAMA: An Instruction-Tuned Model for Social Scientific Tasks

• arxiv url: http://arxiv.org/abs/2402.01980v1
• Date: Sat, 3 Feb 2024 01:33:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 23:01:59.254007
• Title: SOCIALITE-LLAMA: An Instruction-Tuned Model for Social Scientific Tasks
• Title（参考訳）: SoCIALITE-LLAMA:社会科学的課題の指導訓練モデル
• Authors: Gourab Dey, Adithya V Ganesan, Yash Kumar Lal, Manal Shah, Shreyashee Sinha, Matthew Matero, Salvatore Giorgi, Vivek Kulkarni, H. Andrew Schwartz
• Abstract要約: オープンソースでインストラクションをチューニングしたLlamaであるSocialite-Llamaを紹介します。 20種類の社会科学タスクにおいて、Socialite-LlamaはLlamaのパフォーマンスを改善し、最先端のマルチタスク微調整モデルのパフォーマンスをマッチまたは改善する。
• 参考スコア（独自算出の注目度）: 13.647238102924097
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Social science NLP tasks, such as emotion or humor detection, are required to capture the semantics along with the implicit pragmatics from text, often with limited amounts of training data. Instruction tuning has been shown to improve the many capabilities of large language models (LLMs) such as commonsense reasoning, reading comprehension, and computer programming. However, little is known about the effectiveness of instruction tuning on the social domain where implicit pragmatic cues are often needed to be captured. We explore the use of instruction tuning for social science NLP tasks and introduce Socialite-Llama -- an open-source, instruction-tuned Llama. On a suite of 20 social science tasks, Socialite-Llama improves upon the performance of Llama as well as matches or improves upon the performance of a state-of-the-art, multi-task finetuned model on a majority of them. Further, Socialite-Llama also leads to improvement on 5 out of 6 related social tasks as compared to Llama, suggesting instruction tuning can lead to generalized social understanding. All resources including our code, model and dataset can be found through bit.ly/socialitellama.
• Abstract（参考訳）: 感情やユーモア検出などの社会科学のNLPタスクは、テキストから暗黙のプラグマティクスとともに、しばしば限られた訓練データとともに意味を捉えるために必要である。 命令チューニングは、コモンセンス推論、読み取り理解、コンピュータプログラミングなど、大規模言語モデル(llm)の多くの能力を改善することが示されている。 しかし,暗黙的な実践がしばしば必要とされる社会領域における指導指導の有効性についてはほとんど分かっていない。 社会科学nlpタスクにおけるインストラクションチューニングの利用について検討し,オープンソースのインストラクション調整ラマであるsocialite-llamaを紹介する。 20のソーシャルサイエンスタスクのスイートにおいて、socialite-llamaはllamaのパフォーマンスを改善し、それらの大部分で最先端のマルチタスクの微調整モデルのパフォーマンスをマッチさせたり改善したりする。 さらに、Socialite-Llamaは、Llamaと比較して、関連する6つの社会的タスクのうち5つの改善につながっている。 私たちのコード、モデル、データセットを含むすべてのリソースは、bit.ly/socialitellamaで見ることができます。

関連論文リスト

• Prompt Refinement or Fine-tuning? Best Practices for using LLMs in Computational Social Science Tasks [0.0]
  本稿では,23の社会的知識課題のベンチマークにおいて,現代のLCMに基づく分類手法の性能について概説する。 結果は、より大きな語彙と事前学習コーパスを持つモデルを選択すること、AI強化プロンプトに賛成する単純なゼロショットを避けること、タスク固有のデータに微調整すること、の3つのベストプラクティスを示している。
  論文  参考訳（メタデータ） (2024-08-02T15:46:36Z)
• The Call for Socially Aware Language Technologies [94.6762219597438]
  NLPが機能する社会環境の要因、文脈、意味の認識の欠如である。 我々は、NLPが社会意識を発達させる上で大きな課題が残っており、この分野の新しい時代の始まりであると主張している。
  論文  参考訳（メタデータ） (2024-05-03T18:12:39Z)
• SOTOPIA-$π$: Interactive Learning of Socially Intelligent Language Agents [73.35393511272791]
  本稿では,対話型学習手法であるSOTOPIA-$pi$を提案する。 この手法は,大規模言語モデル(LLM)の評価に基づいて,フィルタリングされた社会的相互作用データに対する行動クローニングと自己強化トレーニングを活用する。
  論文  参考訳（メタデータ） (2024-03-13T17:17:48Z)
• SoMeLVLM: A Large Vision Language Model for Social Media Processing [78.47310657638567]
  ソーシャルメディア処理のための大規模ビジョン言語モデル(SoMeLVLM)を提案する。 SoMeLVLMは、知識と理解、応用、分析、評価、作成を含む5つの重要な機能を備えた認知フレームワークである。 実験により,複数のソーシャルメディアタスクにおいて,SoMeLVLMが最先端のパフォーマンスを達成できることが実証された。
  論文  参考訳（メタデータ） (2024-02-20T14:02:45Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• Training Socially Aligned Language Models on Simulated Social Interactions [99.39979111807388]
  AIシステムにおける社会的アライメントは、確立された社会的価値に応じてこれらのモデルが振舞うことを保証することを目的としている。 現在の言語モデル(LM)は、トレーニングコーパスを独立して厳格に複製するように訓練されている。 本研究は,シミュレートされた社会的相互作用からLMを学習することのできる,新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:17:36Z)
• Do LLMs Understand Social Knowledge? Evaluating the Sociability of Large Language Models with SocKET Benchmark [14.922083834969323]
  大規模言語モデル(LLM)は、様々な構文、談話、推論タスクでうまく機能することが示されている。 我々は、社会知識をテストする58のNLPタスクを含む理論駆動型ベンチマーク「SocKET」を導入する。
  論文  参考訳（メタデータ） (2023-05-24T09:21:06Z)
• Social Processes: Self-Supervised Forecasting of Nonverbal Cues in Social Conversations [22.302509912465077]
  我々は、社会的人間関係の分野におけるボトムアップな自己監督的アプローチの方向への第一歩を踏み出す。 ソーシャルキュー予測のタスクを定式化し、ラベルなしの低レベル行動キューを多量に活用する。 本稿では,ニューラル・プロセス(NP)ファミリー内における社会的に認識されるシーケンス・ツー・シーケンス(Seq2Seq)モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-28T18:01:08Z)
• SocialAI: Benchmarking Socio-Cognitive Abilities in Deep Reinforcement Learning Agents [23.719833581321033]
  人間との社会的相互作用に参加することができる、具体化された自律エージェントを構築することは、AIの主要な課題の1つだ。 人間レベルのAIを目指すためには、より広範な社会的スキルが必要である、と私たちは主張する。 DRLエージェントの社会的スキル獲得を評価するためのベンチマークであるSocialAIを提案する。
  論文  参考訳（メタデータ） (2021-07-02T10:39:18Z)
• Can You be More Social? Injecting Politeness and Positivity into Task-Oriented Conversational Agents [60.27066549589362]
  人間エージェントが使用する社会言語は、ユーザーの応答性の向上とタスク完了に関連しています。 このモデルは、ソーシャル言語理解要素で拡張されたシーケンスからシーケンスまでのディープラーニングアーキテクチャを使用する。 人的判断と自動言語尺度の両方を用いたコンテンツ保存と社会言語レベルの評価は,エージェントがより社会的に適切な方法でユーザの問題に対処できる応答を生成できることを示している。
  論文  参考訳（メタデータ） (2020-12-29T08:22:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。