論文の概要: Feature Resemblance: On the Theoretical Understanding of Analogical Reasoning in Transformers
- arxiv url: http://arxiv.org/abs/2603.05143v1
- Date: Thu, 05 Mar 2026 13:12:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-06 22:06:11.235663
- Title: Feature Resemblance: On the Theoretical Understanding of Analogical Reasoning in Transformers
- Title（参考訳）: 特徴系列:変圧器のアナロジカル推論の理論的理解について
- Authors: Ruichen Xu, Wenjing Yan, Ying-Jun Angela Zhang,
- Abstract要約: 我々は、類推的推論(既知の類似性に基づくエンティティ間の共有特性の推論)を分離し、トランスフォーマーにおけるその出現を分析する。
類似性と帰属前提に関する共同トレーニングは、整列表現による類似推論を可能にする。
1.5Bパラメータまでのアーキテクチャによる実験は、我々の理論を検証し、表現幾何学が帰納的推論能力をどのように形作るかを示す。
- 参考スコア（独自算出の注目度）: 32.0329343786554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding reasoning in large language models is complicated by evaluations that conflate multiple reasoning types. We isolate analogical reasoning (inferring shared properties between entities based on known similarities) and analyze its emergence in transformers. We theoretically prove three key results: (1) Joint training on similarity and attribution premises enables analogical reasoning through aligned representations; (2) Sequential training succeeds only when similarity structure is learned before specific attributes, revealing a necessary curriculum; (3) Two-hop reasoning ($a \to b, b \to c \implies a \to c$) reduces to analogical reasoning with identity bridges ($b = b$), which must appear explicitly in training data. These results reveal a unified mechanism: transformers encode entities with similar properties into similar representations, enabling property transfer through feature alignment. Experiments with architectures up to 1.5B parameters validate our theory and demonstrate how representational geometry shapes inductive reasoning capabilities.
- Abstract（参考訳）: 大規模言語モデルにおける推論を理解することは、複数の推論型を記述した評価によって複雑になる。
我々は、類推的推論(既知の類似性に基づくエンティティ間の共有特性の推論)を分離し、トランスフォーマーにおけるその出現を分析する。
理論的には,(1)類似性と帰属の前提に関する共同トレーニングは,整列表現による類似推論を可能にする;(2)類似構造が特定の属性よりも先に学習された場合にのみ,必要なカリキュラムを明らかにする;(3)2つのホップ推論(a \to b, b \to c \implies a \to c$)は,IDブリッジによる類似推論(b = b$)に還元され,トレーニングデータに明示的に現れる必要がある。
トランスフォーマーは、類似したプロパティを持つエンティティを同様の表現にエンコードし、特徴アライメントを通じてプロパティ転送を可能にする。
1.5Bパラメータまでのアーキテクチャによる実験は、我々の理論を検証し、表現幾何学が帰納的推論能力をどのように形作るかを示す。
関連論文リスト
- Emergent Analogical Reasoning in Transformers [46.10175943435167]
認知における中心的な役割にもかかわらず、トランスフォーマーがアナログ推論を習得し実装するメカニズムはいまだに理解されていない。
類推的推論をカテゴリー間の実体間の対応の推論として定式化する。
変換器における類似推論は、埋め込み空間における関係構造の幾何学的アライメントと、変換器内の関手の適用の2つの重要な構成要素に分解されることを示す。
論文 参考訳（メタデータ） (2026-02-02T11:49:36Z) - Bridging Functional and Representational Similarity via Usable Information [3.9189279162842854]
テクスチャブルな情報のレンズを通して表現間の類似性を定量化する統一的な枠組みを提案する。
まず,機能的類似性に対処し,縫合性能と条件付き相互情報との正式なリンクを確立する。
第2に、表現的類似性について、特定の制約の下で使用可能な情報の推定器として、再構成に基づくメトリクスと標準ツールが機能することを証明する。
論文 参考訳（メタデータ） (2026-01-29T11:30:55Z) - How do Transformers Learn Implicit Reasoning? [67.02072851088637]
制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。
原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
論文 参考訳（メタデータ） (2025-05-29T17:02:49Z) - Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。
両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。
我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文 参考訳（メタデータ） (2024-05-10T17:11:31Z) - How Do Transformers Learn Topic Structure: Towards a Mechanistic
Understanding [56.222097640468306]
我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する
数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
論文 参考訳（メタデータ） (2023-03-07T21:42:17Z) - Generalization-baed similarity [0.0]
我々は、一般化の集合が要素の重要な性質を符号化する観察に基づいて、類似性の抽象的な概念を開発する。
この方法で定義される類似性は、数学的性質に訴えるものであることを示す。
我々は、理論的コンピュータ科学と人工知能への潜在的な応用をスケッチする。
論文 参考訳（メタデータ） (2023-02-13T14:48:59Z) - MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。
推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。
この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
論文 参考訳（メタデータ） (2022-10-22T16:01:13Z) - A Description Logic for Analogical Reasoning [28.259681405091666]
我々は,類推による推論に依拠する,妥当な知識の欠如を推測するメカニズムを提案する。
これは、記述論理の設定の中でアナログ推論を研究する最初の論文です。
論文 参考訳（メタデータ） (2021-05-10T19:06:07Z) - Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。
両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。
RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
論文 参考訳（メタデータ） (2020-07-23T14:00:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。