論文の概要: Emergent Analogical Reasoning in Transformers
- arxiv url: http://arxiv.org/abs/2602.01992v2
- Date: Tue, 03 Feb 2026 05:30:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 13:28:03.732778
- Title: Emergent Analogical Reasoning in Transformers
- Title（参考訳）: 変圧器の創発的解析
- Authors: Gouki Minegishi, Jingyuan Feng, Hiroki Furuta, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo,
- Abstract要約: 認知における中心的な役割にもかかわらず、トランスフォーマーがアナログ推論を習得し実装するメカニズムはいまだに理解されていない。
類推的推論をカテゴリー間の実体間の対応の推論として定式化する。
変換器における類似推論は、埋め込み空間における関係構造の幾何学的アライメントと、変換器内の関手の適用の2つの重要な構成要素に分解されることを示す。
- 参考スコア（独自算出の注目度）: 46.10175943435167
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Analogy is a central faculty of human intelligence, enabling abstract patterns discovered in one domain to be applied to another. Despite its central role in cognition, the mechanisms by which Transformers acquire and implement analogical reasoning remain poorly understood. In this work, inspired by the notion of functors in category theory, we formalize analogical reasoning as the inference of correspondences between entities across categories. Based on this formulation, we introduce synthetic tasks that evaluate the emergence of analogical reasoning under controlled settings. We find that the emergence of analogical reasoning is highly sensitive to data characteristics, optimization choices, and model scale. Through mechanistic analysis, we show that analogical reasoning in Transformers decomposes into two key components: (1) geometric alignment of relational structure in the embedding space, and (2) the application of a functor within the Transformer. These mechanisms enable models to transfer relational structure from one category to another, realizing analogy. Finally, we quantify these effects and find that the same trends are observed in pretrained LLMs. In doing so, we move analogy from an abstract cognitive notion to a concrete, mechanistically grounded phenomenon in modern neural networks.
- Abstract（参考訳）: アナロジーは人間の知性の中心的な学部であり、ある領域で発見された抽象的なパターンを別の領域に適用することができる。
認知における中心的な役割にもかかわらず、トランスフォーマーがアナログ推論を習得し実装するメカニズムはいまだに理解されていない。
この研究において、圏論における関手の概念に着想を得て、類推論を圏間の実体間の対応の推論として定式化する。
この定式化に基づいて,制御条件下での類似推論の出現を評価する合成タスクを導入する。
類似推論の出現は,データ特性,最適化選択,モデルスケールに非常に敏感であることが判明した。
機械的解析により,トランスフォーマーの類似推論は,(1)埋め込み空間における関係構造の幾何学的アライメント,(2)トランスフォーマー内の関手の適用の2つの重要な構成要素に分解されることを示す。
これらのメカニズムにより、モデルはあるカテゴリから別のカテゴリへ関係構造を移動させ、類似性を実現することができる。
最後に、これらの効果を定量化し、事前訓練されたLLMでも同様の傾向が観察されることを示す。
そこで我々は,抽象的な認知概念から,現代のニューラルネットワークにおける具体的,機械的に根ざした現象へと類似を移す。
関連論文リスト
- Generalizing Analogical Inference from Boolean to Continuous Domains [19.380448973444633]
アナロジカル推論は強力な誘導機構であり、人間の認知に広く使われ、人工知能にますます応用される。
我々は、一般化された手段によって定義されたパラメータ化された類似性に基づいて、実数値領域における類似推論のための統一的なフレームワークを導入する。
この結果は離散領域と連続領域をまたいだアナログ推論の一般理論を提供する。
論文 参考訳（メタデータ） (2025-11-13T15:37:18Z) - How do Transformers Learn Implicit Reasoning? [67.02072851088637]
制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。
原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
論文 参考訳（メタデータ） (2025-05-29T17:02:49Z) - Towards Universality: Studying Mechanistic Similarity Across Language Model Architectures [49.24097977047392]
本稿では,言語モデリングの主流となる2つのアーキテクチャ,すなわち Transformers と Mambas について検討する。
我々はこれらのモデルから解釈可能な特徴を分離するためにスパースオートエンコーダ(SAE)を用いることを提案し、これらの2つのモデルでほとんどの特徴が似ていることを示す。
論文 参考訳（メタデータ） (2024-10-09T08:28:53Z) - Understanding the Language Model to Solve the Symbolic Multi-Step Reasoning Problem from the Perspective of Buffer Mechanism [68.05754701230039]
本研究では,トランスフォーマーモデルにおける情報伝達機構を解明するために,シンボル的多段階推論タスクを構築する。
モデルの推論能力を高めるために,ランダムな行列に基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-24T07:41:26Z) - A Mechanistic Analysis of a Transformer Trained on a Symbolic Multi-Step Reasoning Task [14.921790126851008]
合成推論タスクで訓練された変圧器の包括的力学解析について述べる。
モデルがタスクの解決に使用する解釈可能なメカニズムのセットを特定し,相関的および因果的証拠を用いた結果の検証を行った。
論文 参考訳（メタデータ） (2024-02-19T08:04:25Z) - Beneath Surface Similarity: Large Language Models Make Reasonable
Scientific Analogies after Structure Abduction [46.2032673640788]
人間の認知における類推的推論の不可欠な役割は、共用関係構造を通して親しみやすい概念とリンクすることで、新しい概念を把握できることである。
この研究は、Large Language Models (LLM) がこれらの類似の基盤となる構造をしばしば見落としていることを示唆している。
本稿では,2つのシステム間の類似性を形成する構造を導出するための,認知心理学に基づく類推的構造推論の課題を紹介する。
論文 参考訳（メタデータ） (2023-05-22T03:04:06Z) - Learning to See Analogies: A Connectionist Exploration [0.0]
この論文は、Analogatorと呼ばれるコンピュータプログラムの開発を通じて、学習と類推の統合を探求している。
多くの異なる類推問題を「見る」ことで、可能な解とともに、アナロゲータは徐々に新しい類推を創り出す能力を発展させている。
論文 参考訳（メタデータ） (2020-01-18T14:06:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。