論文の概要: DREAM: Uncovering Mental Models behind Language Models

• arxiv url: http://arxiv.org/abs/2112.08656v1
• Date: Thu, 16 Dec 2021 06:22:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-18 02:45:41.574901
• Title: DREAM: Uncovering Mental Models behind Language Models
• Title（参考訳）: DREAM: 言語モデルの背後にあるメンタルモデルを明らかにする
• Authors: Yuling Gu, Bhavana Dalvi Mishra, Peter Clark
• Abstract要約: DREAMは、状況に関する質問を入力として受け取り、状況を解明するメンタルモデルを生成するモデルである。 既存のNLP資源から遠ざかって、社会的常識を継承する。 DREAMによって生成されたメンタルモデルは、状況的QAタスクのための追加のコンテキストとして使用できる。
• 参考スコア（独自算出の注目度）: 15.71233907204059
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To what extent do language models (LMs) build "mental models" of a scene when answering situated questions (e.g., questions about a specific ethical dilemma)? While cognitive science has shown that mental models play a fundamental role in human problem-solving, it is unclear whether the high question-answering performance of existing LMs is backed by similar model building - and if not, whether that can explain their well-known catastrophic failures. We observed that Macaw, an existing T5-based LM, when probed provides somewhat useful but inadequate mental models for situational questions (estimated accuracy=43%, usefulness=21%, consistency=42%). We propose DREAM, a model that takes a situational question as input to produce a mental model elaborating the situation, without any additional task specific training data for mental models. It inherits its social commonsense through distant supervision from existing NLP resources. Our analysis shows that DREAM can produce significantly better mental models (estimated accuracy=67%, usefulness=37%, consistency=71%) compared to Macaw. Finally, mental models generated by DREAM can be used as additional context for situational QA tasks. This additional context improves the answer accuracy of a Macaw zero-shot model by between +1% and +4% (absolute) on three different datasets.
• Abstract（参考訳）: 言語モデル(LM)は、ある場所にある質問(例えば、特定の倫理的ジレンマに関する質問)に答えるときに、シーンの「メンタルモデル」を構築することができるか? 認知科学は、精神モデルが人間の問題解決において基本的な役割を担っていることを示したが、既存のLMの高い質問応答性能が類似のモデル構築によって支えられているかどうかは不明である。 既存の T5 ベースの LM である Macaw では,調査では状況的質問に対して多少有用だが不十分な精神モデル(推定精度=43%,有用性=21%,一貫性=42%)が提供されている。 DREAMは、メンタルモデルのための追加のタスク固有のトレーニングデータなしで、状況を評価するメンタルモデルを作成するための入力として状況質問を受けるモデルである。 既存のNLP資源から遠ざかって、社会的常識を継承する。 分析の結果,ドリームはマカウと比較して有意に優れたメンタルモデル(推定精度=67%,有用性=37%,一貫性=71%)を生み出すことがわかった。 最後に、DREAMによって生成されたメンタルモデルは、状況的QAタスクのための追加のコンテキストとして使用できる。 この追加コンテキストは、3つの異なるデータセットにおいて、マッコーゼロショットモデルの回答精度を+1%から+4%(絶対)改善する。

関連論文リスト

• Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [115.501751261878]
  人為的なデータに基づく微調整言語モデル(LM)が普及している。 我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。 ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-11T18:17:43Z)
• What's "up" with vision-language models? Investigating their struggle with spatial reasoning [76.2406963762722]
  3つの新しいコーパスは基本空間関係のモデル理解を定量化する。 我々は18の視覚言語(VL)モデルを評価し、全てが不十分であることが判明した。 私たちはこの驚くべき行動の原因を研究することで結論付ける。
  論文  参考訳（メタデータ） (2023-10-30T17:50:15Z)
• Do Large Language Models have Shared Weaknesses in Medical Question Answering? [1.25828876338076]
  大規模言語モデル(LLM)は、医療ベンチマークで急速に改善されているが、その信頼性の欠如は、安全な現実世界の使用において永続的な課題である。 上位のLLMをベンチマークし、モデル間の一貫性のあるパターンを特定します。 質問が正しく答えるモデル間の類似性の証拠と、人間のテストテイカーとの類似性を見出した。
  論文  参考訳（メタデータ） (2023-10-11T06:26:19Z)
• Probing the Multi-turn Planning Capabilities of LLMs via 20 Question Games [14.063311955315077]
  大規模言語モデル(LLM)は、明らかに求められている質問に答えるのに効果的である。 不明瞭なクエリに直面した場合、予測不能に動作し、誤った出力を生成することができる。 このことは、曖昧さを効果的に解決するために明確化を問うことができる知的エージェントの開発の必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2023-10-02T16:55:37Z)
• Negated Complementary Commonsense using Large Language Models [3.42658286826597]
  この研究は、コモンセンスのシナリオで否定された補完的な質問に対する答えを見つけることに重点を置いている。 本稿では,否定的な相補的シナリオにおける性能向上のためのモデルに依存しない手法を提案する。
  論文  参考訳（メタデータ） (2023-07-13T15:03:48Z)
• Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference [72.61732440246954]
  大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。 本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。 ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2022-11-21T21:58:30Z)
• "John is 50 years old, can his son be 65?" Evaluating NLP Models' Understanding of Feasibility [19.47954905054217]
  この研究は、アクション(またはその効果)が実現可能かどうかを推論する、単純な常識能力に焦点を当てている。 GPT-3のような最先端モデルでさえ、実現可能性の問題に正しく答えることに苦慮していることを示す。
  論文  参考訳（メタデータ） (2022-10-14T02:46:06Z)
• Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.16250115608604]
  本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。 また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。 我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
  論文  参考訳（メタデータ） (2022-09-20T07:04:24Z)
• What's the best place for an AI conference, Vancouver or ______: Why completing comparative questions is difficult [22.04829832439774]
  ニューラルLMが妥当な質問をする(答えない)能力について研究する。 この課題の正確性は,質問が妥当かどうかの判断とよく関連している。
  論文  参考訳（メタデータ） (2021-04-05T14:56:09Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• What do we expect from Multiple-choice QA Systems? [70.86513724662302]
  複数のMultiple Choice Question Answering(MCQA)データセット上で,トップパフォーマンスモデルを検討する。 このようなモデルから得られる可能性のある一連の期待値に対して、モデル入力のゼロ情報摂動を用いて評価する。
  論文  参考訳（メタデータ） (2020-11-20T21:27:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。