論文の概要: Do large language models solve verbal analogies like children do?
- arxiv url: http://arxiv.org/abs/2310.20384v1
- Date: Tue, 31 Oct 2023 11:49:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 15:18:33.929279
- Title: Do large language models solve verbal analogies like children do?
- Title(参考訳): 大きな言語モデルは、子供のように言葉の類似を解くか?
- Authors: Claire E. Stevenson, Mathilde ter Veen, Rochelle Choenni, Han L. J.
van der Maas and Ekaterina Shutova
- Abstract要約: 本稿では,大言語モデル(LLMs)が,子どもの行動と類似した関連性を用いて,言語類似をA:B::C:で解決するか否かを検討する。
オランダの14,002人の7-12歳児がオランダ語で622の類似を解いた。
実験の結果, 言語類似性は, 子どもとCの関連性によって解決される傾向が示唆された。
- 参考スコア(独自算出の注目度): 10.616401727158626
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Analogy-making lies at the heart of human cognition. Adults solve analogies
such as \textit{Horse belongs to stable like chicken belongs to ...?} by
mapping relations (\textit{kept in}) and answering \textit{chicken coop}. In
contrast, children often use association, e.g., answering \textit{egg}. This
paper investigates whether large language models (LLMs) solve verbal analogies
in A:B::C:? form using associations, similar to what children do. We use verbal
analogies extracted from an online adaptive learning environment, where 14,002
7-12 year-olds from the Netherlands solved 622 analogies in Dutch. The six
tested Dutch monolingual and multilingual LLMs performed around the same level
as children, with MGPT performing worst, around the 7-year-old level, and XLM-V
and GPT-3 the best, slightly above the 11-year-old level. However, when we
control for associative processes this picture changes and each model's
performance level drops 1-2 years. Further experiments demonstrate that
associative processes often underlie correctly solved analogies. We conclude
that the LLMs we tested indeed tend to solve verbal analogies by association
with C like children do.
- Abstract(参考訳): アナロジー作りは人間の認知の中心にある。
大人は、例えば \textit{Horse は、鶏が...?
関係 (\textit{kept in}) をマッピングし、 \textit{chicken coop} に応答する。
対照的に、子供は、例えば \textit{egg} に答えるなど、しばしばアソシエーションを使用する。
本稿では,大言語モデル (LLM) がA:B::C:で動詞の類似を解くかどうかを検討する。
子供と同様の関連性で形成します
オランダ出身の14,002,7-12歳がオランダ語で622のアナロジーを解いたオンライン適応学習環境から抽出した言語アナロジーを用いた。
6つのオランダ語・多言語llmは小児と同程度で、mgptは7歳前後で最悪のパフォーマンスを示し、xlm-vとgpt-3は11歳未満で最高だった。
しかし、連想プロセスを制御すると、この図は変わり、各モデルのパフォーマンスレベルは1-2年に低下します。
さらなる実験では、連想過程がしばしば正しく解かれた類似を過小評価することを示した。
実験の結果, 言語類似性は, 子どものようにCと関連して解決される傾向が示唆された。
関連論文リスト
- Do Large Language Models Solve ARC Visual Analogies Like People Do? [0.0]
我々は、新しいARCアイテム群において、人間と大規模言語モデル(LLM)のパフォーマンスを比較した。
以上の結果から, 子どもと大人の双方がこれらの課題においてLLMよりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2024-03-13T09:48:13Z) - ParallelPARC: A Scalable Pipeline for Generating Natural-Language Analogies [16.92480305308536]
複雑な段落に基づくアナロジーを作成するパイプラインを開発する。
我々は人によって検証された金のセットと銀のセットを自動生成する。
私たちは、銀のセットがトレーニングモデルに役立つことを実証します。
論文 参考訳(メタデータ) (2024-03-02T08:53:40Z) - AnaloBench: Benchmarking the Identification of Abstract and Long-context
Analogies [20.35137053775108]
アナロジー思考は、人間が創造的な方法で問題を解決し、難しい概念を把握し、より効果的にアイデアを表現できるようにする。
言語モデル(LM)における類似推論能力を決定するベンチマークAnALOBENCHを提案する。
我々のベンチマーク手法は、人間に共通するこの能力の側面に焦点を当てている: (i) 大量の情報から関連する経験を思い出し、 (ii) 複雑で長いシナリオに類推的推論を適用する。
論文 参考訳(メタデータ) (2024-02-19T18:56:44Z) - Divergences between Language Models and Human Brains [63.405788999891335]
最近の研究は、言語モデルの内部表現(LM)を用いて脳信号が効果的に予測できることを示唆している。
我々は、LMと人間が言語をどのように表現し、使用するかに明確な違いがあることを示します。
我々は、社会的・情緒的知性と身体的常識という、LMによってうまく捉えられていない2つの領域を識別する。
論文 参考訳(メタデータ) (2023-11-15T19:02:40Z) - Grounding Gaps in Language Model Generations [67.79817087930678]
大規模言語モデルが人間の接地を反映したテキストを生成するかどうかを考察する。
人間に比べ、LLMは会話の基盤を減らした言語を生成する。
同定された接地ギャップの根源を理解するために,命令チューニングと選好最適化の役割について検討する。
論文 参考訳(メタデータ) (2023-11-15T17:40:27Z) - StoryAnalogy: Deriving Story-level Analogies from Large Language Models
to Unlock Analogical Understanding [72.38872974837462]
大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。
textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。
我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
論文 参考訳(メタデータ) (2023-10-19T16:29:23Z) - Speaking Multiple Languages Affects the Moral Bias of Language Models [70.94372902010232]
事前訓練された多言語言語モデル(PMLM)は、複数の言語からのデータや言語間転送を扱う際に一般的に用いられる。
モデルは英語から道徳的規範を捉え、他の言語に強制するか?
我々の実験は、事実、PMLMが道徳的バイアスを符号化していることを示しているが、これらは必ずしも人間の意見の文化的相違や共通点に対応しているわけではない。
論文 参考訳(メタデータ) (2022-11-14T20:08:54Z) - Things not Written in Text: Exploring Spatial Commonsense from Visual
Signals [77.46233234061758]
視覚信号を持つモデルがテキストベースモデルよりも空間的コモンセンスを学習するかどうかを検討する。
本稿では,オブジェクトの相対スケールと,異なる動作下での人とオブジェクトの位置関係に着目したベンチマークを提案する。
画像合成モデルは,他のモデルよりも正確で一貫した空間知識を学習できることがわかった。
論文 参考訳(メタデータ) (2022-03-15T17:02:30Z) - PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D
World [86.21137454228848]
我々はPIGLeTを物理力学モデルと別言語モデルに分類する。
PIGLeTは文を読み、次に何が起こるか神経的にシミュレートし、その結果を文字通りの記号表現を通して伝達する。
80%以上の英語の文から「次に何が起こるか」を正確に予測することができ、100倍以上のテキスト・テキスト・アプローチを10%以上上回っている。
論文 参考訳(メタデータ) (2021-06-01T02:32:12Z) - BERT is to NLP what AlexNet is to CV: Can Pre-Trained Language Models
Identify Analogies? [35.381345454627]
アナログを識別する教師なしタスクにおいて,トランスフォーマーに基づく言語モデルの性能を解析する。
オフザシェルフ言語モデルは、ある程度の類似を識別できるが、抽象的かつ複雑な関係に苦しむ。
本研究は,学習済み言語モデルがどのように抽象意味関係に関する知識を捉えているか,その程度について,今後の研究に向けて重要な疑問を提起するものである。
論文 参考訳(メタデータ) (2021-05-11T11:38:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。