論文の概要: SOCIALITE-LLAMA: An Instruction-Tuned Model for Social Scientific Tasks

• arxiv url: http://arxiv.org/abs/2402.01980v2
• Date: Thu, 14 Mar 2024 15:30:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-16 01:42:38.584947
• Title: SOCIALITE-LLAMA: An Instruction-Tuned Model for Social Scientific Tasks
• Title（参考訳）: SoCIALITE-LLAMA : 社会科学的課題の指導訓練モデル
• Authors: Gourab Dey, Adithya V Ganesan, Yash Kumar Lal, Manal Shah, Shreyashee Sinha, Matthew Matero, Salvatore Giorgi, Vivek Kulkarni, H. Andrew Schwartz,
• Abstract要約: オープンソースでインストラクションをチューニングしたLlamaであるSocialite-Llamaを紹介します。 20種類の社会科学タスクにおいて、Socialite-LlamaはLlamaのパフォーマンスを改善し、最先端のマルチタスク微調整モデルのパフォーマンスをマッチまたは改善する。
• 参考スコア（独自算出の注目度）: 13.152622137022881
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Social science NLP tasks, such as emotion or humor detection, are required to capture the semantics along with the implicit pragmatics from text, often with limited amounts of training data. Instruction tuning has been shown to improve the many capabilities of large language models (LLMs) such as commonsense reasoning, reading comprehension, and computer programming. However, little is known about the effectiveness of instruction tuning on the social domain where implicit pragmatic cues are often needed to be captured. We explore the use of instruction tuning for social science NLP tasks and introduce Socialite-Llama -- an open-source, instruction-tuned Llama. On a suite of 20 social science tasks, Socialite-Llama improves upon the performance of Llama as well as matches or improves upon the performance of a state-of-the-art, multi-task finetuned model on a majority of them. Further, Socialite-Llama also leads to improvement on 5 out of 6 related social tasks as compared to Llama, suggesting instruction tuning can lead to generalized social understanding. All resources including our code, model and dataset can be found through bit.ly/socialitellama.
• Abstract（参考訳）: 感情やユーモア検出などの社会科学のNLPタスクは、テキストから暗黙のプラグマティクスとともに、しばしば限られた訓練データとともに意味を捉えるために必要である。 インストラクションチューニングは、コモンセンス推論、読書理解、コンピュータプログラミングなど、大規模言語モデル(LLM)の多くの機能を改善することが示されている。 しかし,暗黙的な実践がしばしば必要とされる社会領域における指導指導の効果については,ほとんど分かっていない。 我々は,ソーシャルサイエンスにおけるNLPタスクの指導チューニングの利用について検討し,オープンソースで学習可能なLlamaであるSocialite-Llamaを紹介した。 20種類の社会科学タスクにおいて、Socialite-LlamaはLlamaのパフォーマンスを向上し、最先端のマルチタスクモデルの性能を向上する。 さらに、Socialite-Llamaは、Llamaと比較して、関連する6つの社会的タスクのうち5つの改善につながっている。 私たちのコード、モデル、データセットを含むすべてのリソースは、bit.ly/socialitellamaを通じて見つけることができます。

関連論文リスト

• SocialEval: Evaluating Social Intelligence of Large Language Models [70.90981021629021]
  ソーシャルインテリジェンス(英語版) (SI) は、社会的目標を達成するために社会的相互作用をナビゲートする際に賢明に行動する対人能力を持つ人間を装備する。 結果指向の目標達成評価とプロセス指向の対人能力評価という,運用評価パラダイムを提示する。 スクリプトベースのバイリンガルSIベンチマークであるSocialEvalを提案する。
  論文  参考訳（メタデータ） (2025-06-01T08:36:51Z)
• SocialMaze: A Benchmark for Evaluating Social Reasoning in Large Language Models [41.68365456601248]
  社会的推論を評価するために特別に設計された新しいベンチマークであるSocialMazeを紹介する。 SocialMazeは、深い推論、動的なインタラクション、情報の不確実性という3つの主要な課題を体系的に取り入れている。 ソーシャル推論ゲーム、日々のインタラクション、デジタルコミュニティプラットフォームという3つの主要な設定にまたがる6つの多様なタスクを提供する。
  論文  参考訳（メタデータ） (2025-05-29T17:47:36Z)
• How Social is It? A Benchmark for LLMs' Capabilities in Multi-user Multi-turn Social Agent Tasks [6.487500253901779]
  大規模言語モデル(LLM)は、マルチユーザ、マルチターンソーシャルエージェントタスクにおいて役割を果たす。 我々は LLM の社会的能力を評価するために, 新たなベンチマーク "How Social Is It" (以下 HSII と呼ぶ) を提案する。 HSIIは、フォーマット解析、ターゲット選択、ターゲット切替会話、安定した会話の4段階から構成され、LLMのコミュニケーションとタスク完了能力を総合的に評価する。
  論文  参考訳（メタデータ） (2025-04-04T08:59:01Z)
• Social Genome: Grounded Social Reasoning Abilities of Multimodal Models [61.88413918026431]
  社会的推論能力は、AIシステムが社会的文脈内でのマルチモーダルなヒューマンコミュニケーションと相互作用を解釈し、応答する上で不可欠である。 SOCIAL GENOMEは,マルチモーダルモデルのきめ細かな基礎的な社会的推論能力を示す最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-02-21T00:05:40Z)
• Prompt Refinement or Fine-tuning? Best Practices for using LLMs in Computational Social Science Tasks [0.0]
  本稿では,23の社会的知識課題のベンチマークにおいて,現代のLCMに基づく分類手法の性能について概説する。 結果は、より大きな語彙と事前学習コーパスを持つモデルを選択すること、AI強化プロンプトに賛成する単純なゼロショットを避けること、タスク固有のデータに微調整すること、の3つのベストプラクティスを示している。
  論文  参考訳（メタデータ） (2024-08-02T15:46:36Z)
• SS-GEN: A Social Story Generation Framework with Large Language Models [87.11067593512716]
  自閉症スペクトラム障害(ASD)を持つ子供たちは、しばしば社会的状況を誤解し、日々のルーチンに参加するのに苦労する。 社会物語は伝統的にこれらの課題に対処するために厳格な制約の下で心理学の専門家によって作られた。 大規模言語モデル(LLM)を用いたソーシャルストーリージェネレーションフレームワークであるSS-GENを提案する。 この研究は、AIを活用して、大規模に自閉症の子供にとって費用対効果の高いソーシャルストーリーをパーソナライズするための重要なステップである。
  論文  参考訳（メタデータ） (2024-06-22T00:14:48Z)
• The Call for Socially Aware Language Technologies [94.6762219597438]
  NLPが機能する社会環境の要因、文脈、意味の認識の欠如である。 我々は、NLPが社会意識を発達させる上で大きな課題が残っており、この分野の新しい時代の始まりであると主張している。
  論文  参考訳（メタデータ） (2024-05-03T18:12:39Z)
• SOTOPIA-$π$: Interactive Learning of Socially Intelligent Language Agents [73.35393511272791]
  本稿では,対話型学習手法であるSOTOPIA-$pi$を提案する。 この手法は,大規模言語モデル(LLM)の評価に基づいて,フィルタリングされた社会的相互作用データに対する行動クローニングと自己強化トレーニングを活用する。
  論文  参考訳（メタデータ） (2024-03-13T17:17:48Z)
• SoMeLVLM: A Large Vision Language Model for Social Media Processing [78.47310657638567]
  ソーシャルメディア処理のための大規模ビジョン言語モデル(SoMeLVLM)を提案する。 SoMeLVLMは、知識と理解、応用、分析、評価、作成を含む5つの重要な機能を備えた認知フレームワークである。 実験により,複数のソーシャルメディアタスクにおいて,SoMeLVLMが最先端のパフォーマンスを達成できることが実証された。
  論文  参考訳（メタデータ） (2024-02-20T14:02:45Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• Training Socially Aligned Language Models on Simulated Social Interactions [99.39979111807388]
  AIシステムにおける社会的アライメントは、確立された社会的価値に応じてこれらのモデルが振舞うことを保証することを目的としている。 現在の言語モデル(LM)は、トレーニングコーパスを独立して厳格に複製するように訓練されている。 本研究は,シミュレートされた社会的相互作用からLMを学習することのできる,新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:17:36Z)
• Do LLMs Understand Social Knowledge? Evaluating the Sociability of Large Language Models with SocKET Benchmark [14.922083834969323]
  大規模言語モデル(LLM)は、様々な構文、談話、推論タスクでうまく機能することが示されている。 我々は、社会知識をテストする58のNLPタスクを含む理論駆動型ベンチマーク「SocKET」を導入する。
  論文  参考訳（メタデータ） (2023-05-24T09:21:06Z)
• Social Processes: Self-Supervised Forecasting of Nonverbal Cues in Social Conversations [22.302509912465077]
  我々は、社会的人間関係の分野におけるボトムアップな自己監督的アプローチの方向への第一歩を踏み出す。 ソーシャルキュー予測のタスクを定式化し、ラベルなしの低レベル行動キューを多量に活用する。 本稿では,ニューラル・プロセス(NP)ファミリー内における社会的に認識されるシーケンス・ツー・シーケンス(Seq2Seq)モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-28T18:01:08Z)
• SocialAI: Benchmarking Socio-Cognitive Abilities in Deep Reinforcement Learning Agents [23.719833581321033]
  人間との社会的相互作用に参加することができる、具体化された自律エージェントを構築することは、AIの主要な課題の1つだ。 人間レベルのAIを目指すためには、より広範な社会的スキルが必要である、と私たちは主張する。 DRLエージェントの社会的スキル獲得を評価するためのベンチマークであるSocialAIを提案する。
  論文  参考訳（メタデータ） (2021-07-02T10:39:18Z)
• Can You be More Social? Injecting Politeness and Positivity into Task-Oriented Conversational Agents [60.27066549589362]
  人間エージェントが使用する社会言語は、ユーザーの応答性の向上とタスク完了に関連しています。 このモデルは、ソーシャル言語理解要素で拡張されたシーケンスからシーケンスまでのディープラーニングアーキテクチャを使用する。 人的判断と自動言語尺度の両方を用いたコンテンツ保存と社会言語レベルの評価は,エージェントがより社会的に適切な方法でユーザの問題に対処できる応答を生成できることを示している。
  論文  参考訳（メタデータ） (2020-12-29T08:22:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。