論文の概要: From Sequence to Structure: Uncovering Substructure Reasoning in Transformers

• arxiv url: http://arxiv.org/abs/2507.10435v1
• Date: Fri, 11 Jul 2025 17:36:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:25.376783
• Title: From Sequence to Structure: Uncovering Substructure Reasoning in Transformers
• Title（参考訳）: 配列から構造へ:変圧器のサブ構造推論を明らかにする
• Authors: Xinnan Dai, Kai Yang, Jay Revolinsky, Kai Guo, Aoran Wang, Bohang Zhang, Jiliang Tang,
• Abstract要約: 本稿では,デコーダのみのトランスフォーマーアーキテクチャが基礎となるグラフ構造をいかに理解できるかを示す。 複雑な複合パターンを効率的に抽出するために, サブストラクチャにおける思考の概念を導入する。 この結果から,シーケンスベースのトランスフォーマーがグラフデータ上でサブ構造抽出タスクをどのように実行するか,新たな知見が得られた。
• 参考スコア（独自算出の注目度）: 35.80526987002848
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies suggest that large language models (LLMs) possess the capability to solve graph reasoning tasks. Notably, even when graph structures are embedded within textual descriptions, LLMs can still effectively answer related questions. This raises a fundamental question: How can a decoder-only Transformer architecture understand underlying graph structures? To address this, we start with the substructure extraction task, interpreting the inner mechanisms inside the transformers and analyzing the impact of the input queries. Specifically, through both empirical results and theoretical analysis, we present Induced Substructure Filtration (ISF), a perspective that captures the substructure identification in the multi-layer transformers. We further validate the ISF process in LLMs, revealing consistent internal dynamics across layers. Building on these insights, we explore the broader capabilities of Transformers in handling diverse graph types. Specifically, we introduce the concept of thinking in substructures to efficiently extract complex composite patterns, and demonstrate that decoder-only Transformers can successfully extract substructures from attributed graphs, such as molecular graphs. Together, our findings offer a new insight on how sequence-based Transformers perform the substructure extraction task over graph data.
• Abstract（参考訳）: 近年の研究では、大規模言語モデル(LLM)がグラフ推論タスクを解く能力を持っていることが示唆されている。 特に、グラフ構造がテキスト記述に埋め込まれている場合でも、LLMは関連した質問に効果的に答えることができる。 デコーダのみのTransformerアーキテクチャは、基盤となるグラフ構造をどのように理解することができるのか? これを解決するために、我々はサブ構造抽出タスクから始め、変換器の内部メカニズムを解釈し、入力クエリの影響を分析する。 具体的には, 実験結果と理論的解析の両面から, 多層変圧器のサブ構造同定を捉えたISF(Substructure Filtration)を提示する。 LLMのICFプロセスをさらに検証し、層間における一貫した内部ダイナミクスを明らかにする。 これらの知見に基づいて、さまざまなグラフタイプを扱う上で、Transformerの幅広い機能について検討する。 具体的には、複雑な複合パターンを効率的に抽出するために、サブストラクチャにおける思考の概念を導入し、デコーダのみのトランスフォーマーが、分子グラフのような属性付きグラフからサブストラクチャを抽出できることを実証する。 そこで本研究では,シーケンスベースのトランスフォーマーがグラフデータ上でサブ構造抽出タスクを実行する方法について,新たな知見を提供する。

関連論文リスト

• A Survey of Graph Transformers: Architectures, Theories and Applications [54.561539625830186]
  近年の研究では、多種多様なアーキテクチャ、説明可能性の向上、グラフトランスフォーマーの実用化などが提案されている。 グラフ変換器のアーキテクチャは,その構造情報処理戦略に従って分類する。 本稿では,分子,タンパク質,言語,視覚,交通,脳,物質データなど,グラフトランスフォーマーの実用化例を紹介する。
  論文  参考訳（メタデータ） (2025-02-23T10:55:19Z)
• Transformers Use Causal World Models in Maze-Solving Tasks [49.67445252528868]
  我々は迷路解決タスクで訓練されたトランスフォーマーで世界モデルを特定する。 機能を抑圧するよりも、機能をアクティベートする方が簡単であることが分かりました。 位置符号化方式は、モデルの残留ストリーム内でのワールドモデルがどのように構成されているかに影響を与えるように見える。
  論文  参考訳（メタデータ） (2024-12-16T15:21:04Z)
• What Does It Mean to Be a Transformer? Insights from a Theoretical Hessian Analysis [8.008567379796666]
  トランスフォーマーと他のアーキテクチャを区別する点について、基本的な理解を提供する。 この結果から,トランスフォーマーにおける様々なアーキテクチャと最適化の選択は,その非線形な依存関係に遡ることができることが示唆された。
  論文  参考訳（メタデータ） (2024-10-14T18:15:02Z)
• How Transformers Learn Causal Structure with Gradient Descent [44.31729147722701]
  自己注意はトランスフォーマーが因果構造をエンコードすることを可能にする。 我々は、潜在因果構造を学習する必要があるコンテキスト内学習タスクを導入する。 我々は、文脈内学習タスクで訓練されたトランスフォーマーが、様々な因果構造を回復できることを示す。
  論文  参考訳（メタデータ） (2024-02-22T17:47:03Z)
• Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings [60.698130703909804]
  トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。 本稿では,SQ-Transformerを提案する。 SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
  論文  参考訳（メタデータ） (2024-02-09T15:53:15Z)
• Towards Interpretable Sequence Continuation: Analyzing Shared Circuits in Large Language Models [9.56229382432426]
  本研究の目的は、トランスフォーマーモデルをアルゴリズム機能を実装する人間可読表現にリバースエンジニアリングすることである。 GPT-2 SmallとLlama-2-7Bの両方のキーサブ回路を回路解釈可能性解析により同定する。 このサブ回路は、インターバル回路、スペイン語の数字と月数継続、自然言語の単語問題など、様々な数学的なプロンプトに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2023-11-07T16:58:51Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• Relational Attention: Generalizing Transformers for Graph-Structured Tasks [0.8702432681310401]
  トランスフォーマーは、タスク固有のエンティティとその属性を表す実数値ベクトルのセットを操作する。 しかし、セットプロセッサとして、トランスフォーマーはより一般的なグラフ構造化データの推論において不利である。 変換器の注意を一般化し,各変換器層におけるエッジベクトルの考察と更新を行う。
  論文  参考訳（メタデータ） (2022-10-11T00:25:04Z)
• SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization [59.732036564862796]
  本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。 提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。 実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-08-31T03:00:07Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• Structure-Aware Transformer for Graph Representation Learning [7.4124458942877105]
  本研究では,トランスフォーマーによって生成されるノード表現と位置符号化が必ずしも類似点を捉えるとは限らないことを示す。 本稿では,新しい自己認識機構上に構築された,単純で柔軟なグラフ変換器のクラスであるStructure-Aware Transformerを提案する。 我々のフレームワークは,既存のGNNを利用してサブグラフ表現を抽出し,ベースとなるGNNモデルに対する性能を体系的に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-07T09:53:39Z)
• Incorporating Residual and Normalization Layers into Analysis of Masked Language Models [29.828669678974983]
  我々は、トランスフォーマーの分析範囲を、単に注目パターンから注目ブロック全体まで拡張する。 トランスフォーマーをベースとしたマスキング言語モデルの解析により,トークンとトークンの相互作用が従来想定されていた中間表現にほとんど影響を与えないことが分かる。
  論文  参考訳（メタデータ） (2021-09-15T08:32:20Z)
• Do Syntax Trees Help Pre-trained Transformers Extract Information? [8.133145094593502]
  本稿では,情報抽出タスクにおいて,依存木を事前学習した変換器に組み込むことの有用性について検討する。 依存関係構造を組み込むための2つの異なる戦略を提案し,検討する。 それらの性能向上は,人間による注釈付き依存関係解析の可用性に大きく影響していることがわかった。
  論文  参考訳（メタデータ） (2020-08-20T17:17:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。