論文の概要: Parallelograms Strike Back: LLMs Generate Better Analogies than People
- arxiv url: http://arxiv.org/abs/2603.19066v1
- Date: Thu, 19 Mar 2026 15:56:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:06.246547
- Title: Parallelograms Strike Back: LLMs Generate Better Analogies than People
- Title(参考訳): パラレログラムが逆転:LLMは人よりも優れたアナロジーを生成する
- Authors: Qiawen Ella Liu, Raja Marjieh, Jian-Qiao Zhu, Adele E. Goldberg, Thomas L. Griffiths,
- Abstract要約: 類推問題において,人間と大言語モデル (LLM) の類推を比較検討した。
LLM生成のアナロジーは、人間生成のアナロジーよりも確実に優れていると判断されている。
- 参考スコア(独自算出の注目度): 9.954471631773353
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Four-term word analogies (A:B::C:D) are classically modeled geometrically as ''parallelograms,'' yet recent work suggests this model poorly captures how humans produce analogies, with simple local-similarity heuristics often providing a better account (Peterson et al., 2020). But does the parallelogram model fail because it is a bad model of analogical relations, or because people are not very good at generating relation-preserving analogies? We compared human and large language model (LLM) analogy completions on the same set of analogy problems from (Peterson et al., 2020). We find that LLM-generated analogies are reliably judged as better than human-generated ones, and are also more closely aligned with the parallelogram structure in a distributional embedding space (GloVe). Crucially, we show that the improvement over human analogies was driven by greater parallelogram alignment and reduced reliance on accessible words rather than enhanced sensitivity to local similarity. Moreover, the LLM advantage is driven not by uniformly superior responses by LLMs, but by humans producing a long tail of weak completions: when only modal (most frequent) responses by both systems are compared, the LLM advantage disappears. However, greater parallelogram alignment and lower word frequency continue to predict which LLM completions are rated higher than those of humans. Overall, these results suggest that the parallelogram model is not a poor account of word analogy. Rather, humans may often fail to produce completions that satisfy this relational constraint, whereas LLMs do so more consistently.
- Abstract(参考訳): 4項の単語類似語(A:B:C:D)は、幾何学的に「平行図」としてモデル化されているが、最近の研究は、このモデルが人間がどのように類似語を生成しているのかをうまく捉えていないことを示唆している(Peterson et al , 2020)。
しかし、パラレルグラムモデルは、類似関係の悪いモデルである、あるいは、人々が関係保存的な類似を生成するのが得意でないために失敗するのだろうか?
我々は,同じ類推問題群(Peterson et al , 2020)において,人間と大規模言語モデル(LLM)の類推を比較検討した。
また, LLM 生成したアナログは, 人間の生成したアナログより確実に優れていると判断され, 分布埋め込み空間 (GloVe) における平行図構造と密に一致していることが判明した。
重要な点として,ヒトの類似性に対する改善は,局所的類似性に敏感さを増すのではなく,より並列的なアライメントとアクセシブルな単語への依存度を低下させることによって引き起こされた。
さらに、LLMの優位性は、LLMによる一様に優れた応答によって駆動されるのではなく、弱い完了の長い尾を生み出す人間によって、両方のシステムによるモーダル(最も頻繁な)応答だけを比較すると、LLMの優位性は消滅する。
しかし,LLMの完成度は人間よりも高いと予測され続けている。
これらの結果は, パラレルグラムモデルが単語類似性の低さを示唆している。
むしろ、人間はこの関係的な制約を満たす完了を生成できない場合が多いが、LSMはより一貫して行う。
関連論文リスト
- Measuring Scalar Constructs in Social Science with LLMs [48.92998035333579]
大規模言語モデルにおけるスカラー構造の測定手法の評価を行った。
LLMにスコアを直接出力させるよりも、ペアワイズ比較の方が優れた測定結果が得られることが分かりました。
訓練ペアを1,000個も持たない小型モデルは、誘導LDMの性能にマッチまたは超えることができる。
論文 参考訳(メタデータ) (2025-09-03T08:19:13Z) - QUDsim: Quantifying Discourse Similarities in LLM-Generated Text [70.22275200293964]
本稿では,会話の進行過程の違いの定量化を支援するために,言語理論に基づくQUDと質問意味論を紹介する。
このフレームワークを使って$textbfQUDsim$を作ります。
QUDsimを用いて、コンテンツが異なる場合であっても、LLMはサンプル間で(人間よりも)談話構造を再利用することが多い。
論文 参考訳(メタデータ) (2025-04-12T23:46:09Z) - Do Large Language Models Solve ARC Visual Analogies Like People Do? [0.0]
我々は、新しいARCアイテム群において、人間と大規模言語モデル(LLM)のパフォーマンスを比較した。
以上の結果から, 子どもと大人の双方がこれらの課題においてLLMよりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2024-03-13T09:48:13Z) - ParallelPARC: A Scalable Pipeline for Generating Natural-Language Analogies [16.92480305308536]
複雑な段落に基づくアナロジーを作成するパイプラインを開発する。
我々は人によって検証された金のセットと銀のセットを自動生成する。
私たちは、銀のセットがトレーニングモデルに役立つことを実証します。
論文 参考訳(メタデータ) (2024-03-02T08:53:40Z) - StoryAnalogy: Deriving Story-level Analogies from Large Language Models
to Unlock Analogical Understanding [72.38872974837462]
大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。
textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。
我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
論文 参考訳(メタデータ) (2023-10-19T16:29:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。