論文の概要: Go Beyond Plain Fine-tuning: Improving Pretrained Models for Social Commonsense

• arxiv url: http://arxiv.org/abs/2105.05913v1
• Date: Wed, 12 May 2021 19:18:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 14:01:20.139106
• Title: Go Beyond Plain Fine-tuning: Improving Pretrained Models for Social Commonsense
• Title（参考訳）: 平易なファインタニングを超えて:社会的常識のための事前訓練モデルの改善
• Authors: Ting-Yun Chang, Yang Liu, Karthik Gopalakrishnan, Behnam Hedayatnia, Pei Zhou, Dilek Hakkani-Tur
• Abstract要約: 社会的・感情的なコモンセンス推論を必要とする課題であるSocial IQAデータセットに注目した。 我々は,外部のcommonsenseコーパスを活用するとともに,いくつかのアーキテクチャのバリエーションと拡張を提案する。 提案システムは,リーダーボード上の上位モデルとして,競争力のある結果を得る。
• 参考スコア（独自算出の注目度）: 6.335245542129822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models have demonstrated outstanding performance in many NLP tasks recently. However, their social intelligence, which requires commonsense reasoning about the current situation and mental states of others, is still developing. Towards improving language models' social intelligence, we focus on the Social IQA dataset, a task requiring social and emotional commonsense reasoning. Building on top of the pretrained RoBERTa and GPT2 models, we propose several architecture variations and extensions, as well as leveraging external commonsense corpora, to optimize the model for Social IQA. Our proposed system achieves competitive results as those top-ranking models on the leaderboard. This work demonstrates the strengths of pretrained language models, and provides viable ways to improve their performance for a particular task.
• Abstract（参考訳）: 事前訓練された言語モデルは、最近多くのNLPタスクで顕著な性能を示している。 しかし、彼らの社会的知性は、現在の状況や他者の精神状態について常識的推論を必要とする。 言語モデルのソーシャルインテリジェンスの改善に向けて,社会的・感情的なコモンセンス推論を必要とする課題であるSocial IQAデータセットに注目した。 事前トレーニングされたrobertaとgpt2モデルをベースに,いくつかのアーキテクチャのバリエーションと拡張を提案し,外部のcommonsense corporaを活用して,ソーシャルiqaのモデルを最適化する。 提案システムは,リーダーボード上の上位モデルと競合する結果を得る。 この研究は、事前訓練された言語モデルの強みを示し、特定のタスクのパフォーマンスを改善するための実行可能な方法を提供する。

関連論文リスト

• Nyonic Technical Report [20.826424998392696]
  Wonton 7Bモデルは、多言語および英語のベンチマークで競合性能を示した。 モデルのアーキテクチャは、ロータリー位置埋め込み(Rotary Positional Embeddings)、QK-LayerNorm(QK-LayerNorm)、特別に製作された多言語トークンーザ(multilingual tokenizer)などの最先端技術で強化されている。
  論文  参考訳（メタデータ） (2024-04-24T07:38:44Z)
• Measuring Social Norms of Large Language Models [13.648679166997693]
  本稿では,大規模言語モデルが社会規範を理解するかどうかを検証するための新たな課題を提案する。 我々のデータセットは、402のスキルと12,383の質問からなる、最大の社会的規範スキルのセットを特徴としている。 本研究では,大規模言語モデルに基づくマルチエージェント・フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-03T05:58:57Z)
• SoMeLVLM: A Large Vision Language Model for Social Media Processing [78.47310657638567]
  ソーシャルメディア処理のための大規模ビジョン言語モデル(SoMeLVLM)を提案する。 SoMeLVLMは、知識と理解、応用、分析、評価、作成を含む5つの重要な機能を備えた認知フレームワークである。 実験により,複数のソーシャルメディアタスクにおいて,SoMeLVLMが最先端のパフォーマンスを達成できることが実証された。
  論文  参考訳（メタデータ） (2024-02-20T14:02:45Z)
• Qwen Technical Report [132.54304067403922]
  当社の大規模言語モデルシリーズの最初のインストールであるQwenを紹介します。 Qwenはトレーニング済みの言語モデルの基本であり、Qwen-Chatは人間のアライメント技術で微調整されたチャットモデルである。 また、コーディング特化モデルであるCode-QwenとCode-Qwen-Chatも開発し、数学に焦点を当てたMath-Qwen-Chatも開発しました。
  論文  参考訳（メタデータ） (2023-09-28T17:07:49Z)
• Large Language Models Are Also Good Prototypical Commonsense Reasoners [11.108562540123387]
  従来の微調整アプローチはリソース集約的であり、モデルの一般化能力を損なう可能性がある。 我々は、調整されたタスクのための大規模モデルの出力からインスピレーションを受け、半自動で新しいプロンプトのセットを開発した。 より優れた設計のプロンプトによって、ProtoQAのリーダーボードで新しい最先端(SOTA)を達成することができます。
  論文  参考訳（メタデータ） (2023-09-22T20:07:24Z)
• Generative Agent-Based Modeling: Unveiling Social System Dynamics through Coupling Mechanistic Models with Generative Artificial Intelligence [0.5898893619901381]
  生成人工知能を用いた社会システムのフィードバックに富む計算モデルを構築する新たな機会について論じる。 GABM(Generative Agent-Based Models)と呼ばれるこのモデルでは、ChatGPTのような大きな言語モデルを用いて、社会的環境における人間の意思決定を表現している。 本研究では,人的相互作用の力学モデルと事前学習された大規模言語モデルとを結合することにより,人間の行動がシミュレーションモデルに組み込むことができるGABMケースを提案する。
  論文  参考訳（メタデータ） (2023-09-20T16:43:05Z)
• Training Socially Aligned Language Models on Simulated Social Interactions [99.39979111807388]
  AIシステムにおける社会的アライメントは、確立された社会的価値に応じてこれらのモデルが振舞うことを保証することを目的としている。 現在の言語モデル(LM)は、トレーニングコーパスを独立して厳格に複製するように訓練されている。 本研究は,シミュレートされた社会的相互作用からLMを学習することのできる,新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:17:36Z)
• Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models [648.3665819567409]
  言語モデルは、規模が大きくなるにつれて量的改善と新しい質的能力の両方を示す。 ビッグベンチは204のタスクで構成され、132の機関で450人の著者が貢献している。 我々は,OpenAIのGPTモデル,Google内部の高密度トランスアーキテクチャ,BIGベンチ上のスイッチ型スパーストランスの挙動を評価する。
  論文  参考訳（メタデータ） (2022-06-09T17:05:34Z)
• ANNA: Enhanced Language Representation for Question Answering [5.713808202873983]
  事前学習モデルでは,各アプローチが個別にパフォーマンスにどう影響するかを示し,そのアプローチが共同で検討されている。 本稿では,事前学習タスクの拡張と,近隣のトークンにもっと参加して,事前学習言語モデリングのコンテキストの豊かさを把握できる新しい近隣認識機構を提案する。 我々の最良のモデルは、SQuAD 1.1上で95.7% F1と90.6% EMの新たな最先端結果を実現し、RoBERTa、ALBERT、ELECTRA、XLNetといった既存のトレーニング済み言語モデルよりも優れている。
  論文  参考訳（メタデータ） (2022-03-28T05:26:52Z)
• Knowledge Distillation for Quality Estimation [79.51452598302934]
  QE(Quality Estimation)は、参照翻訳のない機械翻訳の品質を自動的に予測するタスクである。 QEの最近の成功は、非常に大きなモデルが印象的な結果をもたらす多言語事前学習表現の使用に起因している。 提案手法は, データ拡張と組み合わせて, 8倍のパラメータを持つ蒸留前学習表現と競合する軽量QEモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-07-01T12:36:21Z)
• What do we expect from Multiple-choice QA Systems? [70.86513724662302]
  複数のMultiple Choice Question Answering(MCQA)データセット上で,トップパフォーマンスモデルを検討する。 このようなモデルから得られる可能性のある一連の期待値に対して、モデル入力のゼロ情報摂動を用いて評価する。
  論文  参考訳（メタデータ） (2020-11-20T21:27:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。