論文の概要: Language models show human-like content effects on reasoning

• arxiv url: http://arxiv.org/abs/2207.07051v1
• Date: Thu, 14 Jul 2022 16:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 12:14:08.999252
• Title: Language models show human-like content effects on reasoning
• Title（参考訳）: 推論に人間のようなコンテンツ効果を示す言語モデル
• Authors: Ishita Dasgupta, Andrew K. Lampinen, Stephanie C. Y. Chan, Antonia Creswell, Dharshan Kumaran, James L. McClelland, Felix Hill
• Abstract要約: 言語モデルでは,抽象的推論問題に対する人間的な内容の影響が示される。 芸術的大言語モデルの現状は、3つの論理的推論タスクを通して、人間が観察したのと同じパターンの多くを反映していることがわかった。
• 参考スコア（独自算出の注目度）: 22.908624959800242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Abstract reasoning is a key ability for an intelligent system. Large language models achieve above-chance performance on abstract reasoning tasks, but exhibit many imperfections. However, human abstract reasoning is also imperfect, and depends on our knowledge and beliefs about the content of the reasoning problem. For example, humans reason much more reliably about logical rules that are grounded in everyday situations than arbitrary rules about abstract attributes. The training experiences of language models similarly endow them with prior expectations that reflect human knowledge and beliefs. We therefore hypothesized that language models would show human-like content effects on abstract reasoning problems. We explored this hypothesis across three logical reasoning tasks: natural language inference, judging the logical validity of syllogisms, and the Wason selection task (Wason, 1968). We find that state of the art large language models (with 7 or 70 billion parameters; Hoffman et al., 2022) reflect many of the same patterns observed in humans across these tasks -- like humans, models reason more effectively about believable situations than unrealistic or abstract ones. Our findings have implications for understanding both these cognitive effects, and the factors that contribute to language model performance.
• Abstract（参考訳）: 抽象推論はインテリジェントシステムにとって重要な能力である。 大規模言語モデルは抽象推論タスクで上述の処理性能を達成するが、多くの不完全性を示す。 しかし、人間の抽象的推論もまた不完全であり、推論問題の内容に関する知識や信念に依存している。 例えば、人間は抽象的な属性に関する任意の規則よりも、日常の状況に根ざした論理的な規則についてより確実に推論する。 言語モデルのトレーニング体験も同様に、人間の知識と信念を反映した事前の期待を彼らに与えている。 したがって、言語モデルが抽象的推論問題に人間のようなコンテンツ効果をもたらすと仮定した。 この仮説を3つの論理推論タスク(自然言語推論、syllogismの論理的妥当性の判断、wason selection task(wason, 1968))にまたがって検討した。 アートの大規模言語モデル(70億から70億のパラメータを持つHoffman氏、2022年)の状況は、人間のように、人間のように、非現実的で抽象的なものよりも、より効果的に、信じられる状況について推論する。 本研究は,これらの認知的効果と言語モデルの性能に寄与する要因の両方を理解することにつながる。

関連論文リスト

• Perceptions of Linguistic Uncertainty by Language Models and Humans [26.69714008538173]
  言語モデルが不確実性の言語表現を数値応答にどうマッピングするかを検討する。 10モデル中7モデルで不確実性表現を確率的応答に人間的な方法でマッピングできることが判明した。 この感度は、言語モデルは以前の知識に基づいてバイアスの影響を受けやすいことを示している。
  論文  参考訳（メタデータ） (2024-07-22T17:26:12Z)
• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• A Systematic Comparison of Syllogistic Reasoning in Humans and Language Models [39.77445889769015]
  言語モデルのPaLM2ファミリにおいて、より大きなモデルはより小さなモデルよりも論理的であることを示す。 最大のモデルでさえ体系的な誤りを犯し、その一部は人間の推論バイアスを反映している。 全体として、言語モデルはトレーニングデータに含まれる人間のバイアスを模倣することが多いが、場合によってはそれを克服することができる。
  論文  参考訳（メタデータ） (2023-11-01T11:13:06Z)
• Learning the meanings of function words from grounded language using a visual question answering model [28.10687343493772]
  近年のニューラルネットワークに基づく視覚的質問応答モデルでは,複雑な視覚シーンに関する質問に対する回答の一部として,関数語の使用を学習できることが示されている。 これらのモデルが論理的結合の意味を学べることや、論理的推論に関する事前の知識がないことが分かりました。 本研究は,視覚的に理解された文脈において,機能単語のニュアンス解釈を学習することが可能であることを示す。
  論文  参考訳（メタデータ） (2023-08-16T18:53:39Z)
• The Neuro-Symbolic Inverse Planning Engine (NIPE): Modeling Probabilistic Social Inferences from Linguistic Inputs [50.32802502923367]
  確率的目標推論領域における言語駆動の過程と社会的推論への影響について検討する。 本稿では,エージェントシナリオの言語入力から目標推定を行うニューロシンボリックモデルを提案する。 我々のモデルは人間の反応パターンと密に一致し、LLM単独の使用よりも人間の判断をより良く予測する。
  論文  参考訳（メタデータ） (2023-06-25T19:38:01Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• Testing AI on language comprehension tasks reveals insensitivity to underlying meaning [3.335047764053173]
  LLM(Large Language Models)は、臨床支援や法的支援から、質問応答や教育まで幅広い分野で採用されている。 しかし、リバースエンジニアリングはモラベックのパラドックスによって拘束されており、簡単なスキルは難しい。 新たなベンチマークで7つの最先端モデルを体系的に評価する。
  論文  参考訳（メタデータ） (2023-02-23T20:18:52Z)
• A fine-grained comparison of pragmatic language understanding in humans and language models [2.231167375820083]
  言語モデルと人間を7つの現実的な現象で比較する。 最大のモデルでは精度が高く,人間の誤りパターンと一致していることがわかった。 モデルと人間が同様の言語的手がかりに敏感であるという予備的な証拠がある。
  論文  参考訳（メタデータ） (2022-12-13T18:34:59Z)
• Towards Abstract Relational Learning in Human Robot Interaction [73.67226556788498]
  人間は環境における実体を豊かに表現する。 ロボットが人間とうまく対話する必要がある場合、同様の方法で実体、属性、一般化を表現する必要がある。 本研究では,人間とロボットの相互作用を通じて,これらの表現をどのように獲得するかという課題に対処する。
  論文  参考訳（メタデータ） (2020-11-20T12:06:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。