論文の概要: Do large language models solve verbal analogies like children do?

• arxiv url: http://arxiv.org/abs/2310.20384v1
• Date: Tue, 31 Oct 2023 11:49:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 15:18:33.929279
• Title: Do large language models solve verbal analogies like children do?
• Title（参考訳）: 大きな言語モデルは、子供のように言葉の類似を解くか?
• Authors: Claire E. Stevenson, Mathilde ter Veen, Rochelle Choenni, Han L. J. van der Maas and Ekaterina Shutova
• Abstract要約: 本稿では,大言語モデル(LLMs)が,子どもの行動と類似した関連性を用いて,言語類似をA:B::C:で解決するか否かを検討する。 オランダの14,002人の7-12歳児がオランダ語で622の類似を解いた。 実験の結果, 言語類似性は, 子どもとCの関連性によって解決される傾向が示唆された。
• 参考スコア（独自算出の注目度）: 10.616401727158626
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Analogy-making lies at the heart of human cognition. Adults solve analogies such as \textit{Horse belongs to stable like chicken belongs to ...?} by mapping relations (\textit{kept in}) and answering \textit{chicken coop}. In contrast, children often use association, e.g., answering \textit{egg}. This paper investigates whether large language models (LLMs) solve verbal analogies in A:B::C:? form using associations, similar to what children do. We use verbal analogies extracted from an online adaptive learning environment, where 14,002 7-12 year-olds from the Netherlands solved 622 analogies in Dutch. The six tested Dutch monolingual and multilingual LLMs performed around the same level as children, with MGPT performing worst, around the 7-year-old level, and XLM-V and GPT-3 the best, slightly above the 11-year-old level. However, when we control for associative processes this picture changes and each model's performance level drops 1-2 years. Further experiments demonstrate that associative processes often underlie correctly solved analogies. We conclude that the LLMs we tested indeed tend to solve verbal analogies by association with C like children do.
• Abstract（参考訳）: アナロジー作りは人間の認知の中心にある。 大人は、例えば \textit{Horse は、鶏が...? 関係 (\textit{kept in}) をマッピングし、 \textit{chicken coop} に応答する。 対照的に、子供は、例えば \textit{egg} に答えるなど、しばしばアソシエーションを使用する。 本稿では,大言語モデル (LLM) がA:B::C:で動詞の類似を解くかどうかを検討する。 子供と同様の関連性で形成します オランダ出身の14,002,7-12歳がオランダ語で622のアナロジーを解いたオンライン適応学習環境から抽出した言語アナロジーを用いた。 6つのオランダ語・多言語llmは小児と同程度で、mgptは7歳前後で最悪のパフォーマンスを示し、xlm-vとgpt-3は11歳未満で最高だった。 しかし、連想プロセスを制御すると、この図は変わり、各モデルのパフォーマンスレベルは1-2年に低下します。 さらなる実験では、連想過程がしばしば正しく解かれた類似を過小評価することを示した。 実験の結果, 言語類似性は, 子どものようにCと関連して解決される傾向が示唆された。

関連論文リスト

• Can Large Language Models generalize analogy solving like people can? [46.02074643846298]
  人には「体 : 足 : テーブル :」のような類似を解く能力が幼少期に出現する。 近年の研究では、大規模言語モデル(LLM)が様々な種類の類似を解くことができることが示されている。
  論文  参考訳（メタデータ） (2024-11-04T18:18:38Z)
• Do Large Language Models Solve ARC Visual Analogies Like People Do? [0.0]
  我々は、新しいARCアイテム群において、人間と大規模言語モデル(LLM)のパフォーマンスを比較した。 以上の結果から, 子どもと大人の双方がこれらの課題においてLLMよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-03-13T09:48:13Z)
• ParallelPARC: A Scalable Pipeline for Generating Natural-Language Analogies [16.92480305308536]
  複雑な段落に基づくアナロジーを作成するパイプラインを開発する。 我々は人によって検証された金のセットと銀のセットを自動生成する。 私たちは、銀のセットがトレーニングモデルに役立つことを実証します。
  論文  参考訳（メタデータ） (2024-03-02T08:53:40Z)
• AnaloBench: Benchmarking the Identification of Abstract and Long-context Analogies [19.613777134600408]
  アナロジー思考は、人間が創造的な方法で問題を解決することを可能にする。 言語モデル(LM)も同じことができますか? ベンチマークアプローチは、人間に共通するこの能力の側面に焦点を当てます。
  論文  参考訳（メタデータ） (2024-02-19T18:56:44Z)
• Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
  本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。 我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
  論文  参考訳（メタデータ） (2024-01-31T18:48:20Z)
• StoryAnalogy: Deriving Story-level Analogies from Large Language Models to Unlock Analogical Understanding [72.38872974837462]
  大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。 textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。 我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
  論文  参考訳（メタデータ） (2023-10-19T16:29:23Z)
• ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base [51.777618249271725]
  ANALOGYKBは、既存の知識グラフ(KGs)から派生した100万スケールのアナロジー知識ベースである 1)KGから直接抽出できる同一関係のアナロジー、2)大きな言語モデル(LLM)によって実現される選択とフィルタリングパイプラインと識別される類似関係のアナロジーである。
  論文  参考訳（メタデータ） (2023-05-10T09:03:01Z)
• Things not Written in Text: Exploring Spatial Commonsense from Visual Signals [77.46233234061758]
  視覚信号を持つモデルがテキストベースモデルよりも空間的コモンセンスを学習するかどうかを検討する。 本稿では,オブジェクトの相対スケールと,異なる動作下での人とオブジェクトの位置関係に着目したベンチマークを提案する。 画像合成モデルは,他のモデルよりも正確で一貫した空間知識を学習できることがわかった。
  論文  参考訳（メタデータ） (2022-03-15T17:02:30Z)
• PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D World [86.21137454228848]
  我々はPIGLeTを物理力学モデルと別言語モデルに分類する。 PIGLeTは文を読み、次に何が起こるか神経的にシミュレートし、その結果を文字通りの記号表現を通して伝達する。 80%以上の英語の文から「次に何が起こるか」を正確に予測することができ、100倍以上のテキスト・テキスト・アプローチを10%以上上回っている。
  論文  参考訳（メタデータ） (2021-06-01T02:32:12Z)
• BERT is to NLP what AlexNet is to CV: Can Pre-Trained Language Models Identify Analogies? [35.381345454627]
  アナログを識別する教師なしタスクにおいて,トランスフォーマーに基づく言語モデルの性能を解析する。 オフザシェルフ言語モデルは、ある程度の類似を識別できるが、抽象的かつ複雑な関係に苦しむ。 本研究は,学習済み言語モデルがどのように抽象意味関係に関する知識を捉えているか,その程度について,今後の研究に向けて重要な疑問を提起するものである。
  論文  参考訳（メタデータ） (2021-05-11T11:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。