論文の概要: SS-GEN: A Social Story Generation Framework with Large Language Models
- arxiv url: http://arxiv.org/abs/2406.15695v2
- Date: Sun, 8 Sep 2024 19:06:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 02:01:46.336268
- Title: SS-GEN: A Social Story Generation Framework with Large Language Models
- Title(参考訳): SS-GEN: 大規模言語モデルを用いたソーシャルストーリー生成フレームワーク
- Authors: Yi Feng, Mingyang Song, Jiaqi Wang, Zhuang Chen, Guanqun Bi, Minlie Huang, Liping Jing, Jian Yu,
- Abstract要約: 自閉症スペクトラム障害(ASD)を持つ子供たちは、しばしば社会的状況を誤解し、日々のルーチンに参加するのに苦労する。
社会物語は伝統的にこれらの課題に対処するために厳格な制約の下で心理学の専門家によって作られた。
幅広い範囲でリアルタイムでソーシャルストーリーを生成するフレームワークである textbfSS-GEN を提案する。
- 参考スコア(独自算出の注目度): 87.11067593512716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Children with Autism Spectrum Disorder (ASD) often misunderstand social situations and struggle to participate in daily routines. Social Stories are traditionally crafted by psychology experts under strict constraints to address these challenges but are costly and limited in diversity. As Large Language Models (LLMs) advance, there's an opportunity to develop more automated, affordable, and accessible methods to generate Social Stories in real-time with broad coverage. However, adapting LLMs to meet the unique and strict constraints of Social Stories is a challenging issue. To this end, we propose \textbf{SS-GEN}, a \textbf{S}ocial \textbf{S}tory \textbf{GEN}eration framework with LLMs. Firstly, we develop a constraint-driven sophisticated strategy named \textbf{\textsc{StarSow}} to hierarchically prompt LLMs to generate Social Stories at scale, followed by rigorous human filtering to build a high-quality dataset. Additionally, we introduce \textbf{quality assessment criteria} to evaluate the effectiveness of these generated stories. Considering that powerful closed-source large models require very complex instructions and expensive API fees, we finally fine-tune smaller language models with our curated high-quality dataset, achieving comparable results at lower costs and with simpler instruction and deployment. This work marks a significant step in leveraging AI to personalize Social Stories cost-effectively for autistic children at scale, which we hope can encourage future research. The prompt, code and data will release in the \texttt{Technical Appendix} and \texttt{Code \& Data Appendix} at \url{https://github.com/MIMIFY/SS-GEN}.
- Abstract(参考訳): 自閉症スペクトラム障害(ASD)を持つ子供たちは、しばしば社会的状況を誤解し、日々のルーチンに参加するのに苦労する。
社会物語は伝統的にこれらの課題に対処するために厳格な制約の下で心理学の専門家によって作られたが、コストがかかり多様性が制限されている。
大きな言語モデル(LLMs)が進むにつれ、より自動化され、安価で、アクセスしやすい方法を開発し、幅広い範囲でリアルタイムでソーシャルストーリーを生成する機会があります。
しかし、ソーシャルストーリーのユニークで厳格な制約を満たすためにLLMを適用することは、難しい問題である。
この目的のために, LLM を用いた \textbf{S}ocial \textbf{S}tory \textbf{GEN}eration フレームワークである \textbf{SS-GEN} を提案する。
まず, 階層的に LLM に社会ストーリの生成を促すための制約駆動型高度戦略である \textbf{\textsc{StarSow}} を開発し, 続いて厳密な人間のフィルタリングを行い, 高品質なデータセットを構築する。
さらに,これらの生成したストーリーの有効性を評価するために,「textbf{quality Assessment criteria」を導入する。
強力なクローズドソースの大規模モデルは、非常に複雑な命令と高価なAPI料金を必要とするため、我々は最終的に、キュレートされた高品質データセットで小さな言語モデルを微調整し、より低コストで、よりシンプルなインストラクションとデプロイメントで、同等の結果を得ることができました。
この研究は、AIを活用して、大規模に自閉症の子供に費用対効果の高いソーシャルストーリーをパーソナライズするための重要なステップとなる。
プロンプト、コード、データは、 \texttt{Technical Appendix} と \texttt{Code \& Data Appendix} at \url{https://github.com/MIMIFY/SS-GEN} でリリースされる。
関連論文リスト
- From a Social Cognitive Perspective: Context-aware Visual Social Relationship Recognition [59.57095498284501]
我々は,textbfContextual textbfSocial textbfRelationships (textbfConSoR) を社会的認知の観点から認識する新しいアプローチを提案する。
画像ごとの社会的関係を考慮した社会認識記述言語プロンプトを構築した。
印象的なことに、ConSoRは従来の手法を上回り、Person-in-Social-Context(PISC)データセットでは12.2%、Person-in-Photo-Album(PIPA)ベンチマークでは9.8%向上している。
論文 参考訳(メタデータ) (2024-06-12T16:02:28Z) - The Call for Socially Aware Language Technologies [94.6762219597438]
NLPが機能する社会環境の要因、文脈、意味の認識の欠如である。
我々は、NLPが社会意識を発達させる上で大きな課題が残っており、この分野の新しい時代の始まりであると主張している。
論文 参考訳(メタデータ) (2024-05-03T18:12:39Z) - SOCIALITE-LLAMA: An Instruction-Tuned Model for Social Scientific Tasks [13.152622137022881]
オープンソースでインストラクションをチューニングしたLlamaであるSocialite-Llamaを紹介します。
20種類の社会科学タスクにおいて、Socialite-LlamaはLlamaのパフォーマンスを改善し、最先端のマルチタスク微調整モデルのパフォーマンスをマッチまたは改善する。
論文 参考訳(メタデータ) (2024-02-03T01:33:16Z) - SocialStigmaQA: A Benchmark to Uncover Stigma Amplification in
Generative Language Models [8.211129045180636]
我々は、生成言語モデルにおいて、シュティグマを通して、社会的偏見の増幅を捉えるためのベンチマークを導入する。
私たちのベンチマークであるSocialStigmaQAには、ソーシャルバイアスとモデル堅牢性の両方をテストするために慎重に構築された、さまざまなプロンプトスタイルの約10Kプロンプトが含まれています。
社会的に偏りのあるアウトプットの割合は、様々なデコード戦略やスタイルにまたがって45%から59%の範囲であることがわかった。
論文 参考訳(メタデータ) (2023-12-12T18:27:44Z) - DeSIQ: Towards an Unbiased, Challenging Benchmark for Social
Intelligence Understanding [60.84356161106069]
複雑な社会的相互作用のビデオ上での複数選択質問のデータセットであるSocial-IQの健全性について検討する。
分析の結果,Social-IQにはある程度のバイアスがあり,適度に強い言語モデルによって活用できることがわかった。
ソーシャルIQに単純な摂動を適用して構築した,新たな挑戦的データセットであるDeSIQを紹介する。
論文 参考訳(メタデータ) (2023-10-24T06:21:34Z) - Fictional Worlds, Real Connections: Developing Community Storytelling
Social Chatbots through LLMs [11.81497469617973]
社会ストーリーテリング(SSC)を導入し、架空のゲームキャラクターをプレイヤーコミュニティ内の「生きた」社会エンティティに変換する。
私たちのストーリーエンジニアリングプロセスには、キャラクタとストーリー作成、SCのパーソナリティとワールドビューの定義、コミュニティへのライブストーリーの提示という3つのステップが含まれています。
質問紙とコミュニティメンバーへのインタビューをもとにした混合手法分析により,コミュニティ環境におけるSCの関与と信頼度は,ストーリーテリングによって著しく向上することが明らかとなった。
論文 参考訳(メタデータ) (2023-09-20T17:23:05Z) - BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models [73.29106813131818]
テスト文は限られた手動テンプレートから生成されるか、高価なクラウドソーシングを必要とするため、現時点ではバイアステストは煩雑である。
ソーシャルグループと属性の任意のユーザ指定の組み合わせを考慮し、テスト文の制御可能な生成にChatGPTを使うことを提案する。
本稿では,HuggingFace上にホストされているオープンソースの総合的バイアステストフレームワーク(BiasTestGPT)について紹介する。
論文 参考訳(メタデータ) (2023-02-14T22:07:57Z) - SocialAI: Benchmarking Socio-Cognitive Abilities in Deep Reinforcement
Learning Agents [23.719833581321033]
人間との社会的相互作用に参加することができる、具体化された自律エージェントを構築することは、AIの主要な課題の1つだ。
人間レベルのAIを目指すためには、より広範な社会的スキルが必要である、と私たちは主張する。
DRLエージェントの社会的スキル獲得を評価するためのベンチマークであるSocialAIを提案する。
論文 参考訳(メタデータ) (2021-07-02T10:39:18Z) - PHASE: PHysically-grounded Abstract Social Events for Machine Social
Perception [50.551003004553806]
私たちは、物理的に根拠のある抽象的なソーシャルイベント、フェーズのデータセットを作成します。
フェーズは人間の実験によって検証され、人間は社会出来事において豊かな相互作用を知覚する。
ベースラインモデルとして,最新のフィードフォワードニューラルネットワークよりも優れたベイズ逆計画手法SIMPLEを導入する。
論文 参考訳(メタデータ) (2021-03-02T18:44:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。