論文の概要: Negated Complementary Commonsense using Large Language Models

• arxiv url: http://arxiv.org/abs/2307.06794v1
• Date: Thu, 13 Jul 2023 15:03:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-14 14:18:42.553031
• Title: Negated Complementary Commonsense using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた負補完コモンセンス
• Authors: Navid Rezaei, Marek Z. Reformat
• Abstract要約: この研究は、コモンセンスのシナリオで否定された補完的な質問に対する答えを見つけることに重点を置いている。 本稿では,否定的な相補的シナリオにおける性能向上のためのモデルに依存しない手法を提案する。
• 参考スコア（独自算出の注目度）: 3.42658286826597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Larger language models, such as GPT-3, have shown to be excellent in many tasks. However, we demonstrate that out-of-ordinary questions can throw the model off guard. This work focuses on finding answers to negated complementary questions in commonsense scenarios. We illustrate how such questions adversely affect the model responses. We propose a model-agnostic methodology to improve the performance in negated complementary scenarios. Our method outperforms few-shot generation from GPT-3 (by more than 11 points) and, more importantly, highlights the significance of studying the response of large language models in negated complementary questions. The code, data, and experiments are available under: https://github.com/navidre/negated_complementary_commonsense.
• Abstract（参考訳）: GPT-3のようなより大きな言語モデルは、多くのタスクで優れていることが示されている。 しかし、通常の質問はモデルをガードから外すことを実証する。 本研究は,コモンセンスシナリオにおいて否定的な補足質問に対する回答を見つけることに焦点を当てる。 このような質問がモデル応答にどのように悪影響を及ぼすかを説明する。 我々は,不要な補完的シナリオにおける性能を改善するためのモデル非依存手法を提案する。 提案手法は, GPT-3(11点以上)からの少数ショット生成よりも優れ, さらに重要な点として, 否定的相補的質問に対する大規模言語モデルの応答を研究することの重要性を強調した。 コード、データ、実験は、https://github.com/navidre/negated_complementary_commonsense.comで公開されている。

関連論文リスト

• Making Retrieval-Augmented Language Models Robust to Irrelevant Context [55.564789967211844]
  ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。 近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
  論文  参考訳（メタデータ） (2023-10-02T18:52:35Z)
• Reliability Check: An Analysis of GPT-3's Response to Sensitive Topics and Prompt Wording [0.0]
  GPT-3を混乱させるものは何か、モデルが特定のセンシティブなトピックにどう反応するか、そしてモデル応答にどのような影響があるのかを解析する。 GPT-3は明らかな陰謀やステレオタイプと正しく一致しないが、一般的な誤解や論争では誤りを犯す。 モデル応答はプロンプトや設定に不整合であり、GPT-3の信頼性の欠如を強調している。
  論文  参考訳（メタデータ） (2023-06-09T19:07:31Z)
• "John is 50 years old, can his son be 65?" Evaluating NLP Models' Understanding of Feasibility [19.47954905054217]
  この研究は、アクション(またはその効果)が実現可能かどうかを推論する、単純な常識能力に焦点を当てている。 GPT-3のような最先端モデルでさえ、実現可能性の問題に正しく答えることに苦慮していることを示す。
  論文  参考訳（メタデータ） (2022-10-14T02:46:06Z)
• Measuring and Narrowing the Compositionality Gap in Language Models [116.5228850227024]
  モデルがすべてのサブプロブレムに正しく答えられる頻度を計測するが、全体の解は生成しない。 我々は,思考の連鎖をさらに改善する新たな手法である自己認識法を提案する。
  論文  参考訳（メタデータ） (2022-10-07T06:50:23Z)
• Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.16250115608604]
  本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。 また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。 我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
  論文  参考訳（メタデータ） (2022-09-20T07:04:24Z)
• Elaboration-Generating Commonsense Question Answering at Scale [77.96137534751445]
  一般的な感覚を必要とする質問応答では、言語モデル(例えばGPT-3)が背景知識を表すテキストを生成するために使われてきた。 より小さな言語モデルを微調整して有用な中間コンテキストを生成します。 私たちのフレームワークは、2つの言語モデルの更新 – 開発中のジェネレータと応答予測器 – を交互に行います。
  論文  参考訳（メタデータ） (2022-09-02T18:32:09Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• Better Distractions: Transformer-based Distractor Generation and Multiple Choice Question Filtering [4.168157981135697]
  我々はGPT-2言語モデルをトレーニングし、与えられた質問とテキストコンテキストに対して3つの気晴らしを生成する。 次に、複数の選択質問(MCQ)に答えるためにBERT言語モデルをトレーニングし、このモデルをフィルタとして使用する。
  論文  参考訳（メタデータ） (2020-10-19T15:23:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。