Fugu-MT 論文翻訳(概要): TPR-Attention for Combinatorial Generalization

論文の概要: TPR-Attention for Combinatorial Generalization

arxiv url: http://arxiv.org/abs/2608.30124v1
Date: Mon, 31 Aug 2026 01:18:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:31.19197
Title: TPR-Attention for Combinatorial Generalization
Title（参考訳）: 組合せ一般化のためのTPR-Attention
Abstract要約: 構造化帰納バイアスをディープラーニングに組み込む新しいアーキテクチャコンポーネントを導入します。本稿では,このTPRアテンション機構が,既存のアーキテクチャコンポーネントの一般化よりも優れていることを示す。
参考スコア（独自算出の注目度）: 1.1688030627514532
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Systematic generalization remains a significant challenge in deep learning. In particular, combinatorial generalization - generalizing to new configurations of known factors of variation - is effortless for humans but difficult for standard neural architectures that rely on statistical correlations rather than explicit structural representations. We introduce a new architectural component that embeds structured inductive bias into deep learning: an attention mechanism operating over tensor-product representations (TPRs). Through controlled experiments on compositional tasks, we show that this TPR-attention mechanism outperforms existing architectural components in combinatorial generalization. These results highlight the value of integrating explicit compositional structure into neural attention and point toward a promising path for models capable of systematic generalization.
Abstract（参考訳）: 体系的な一般化は、ディープラーニングにおいて重要な課題である。特に、組合せ一般化は、既知の変動要因の新しい構成に一般化するが、人間には不便であるが、明示的な構造表現ではなく統計的相関に依存する標準的なニューラルネットワークアーキテクチャでは困難である。本稿では,構造的帰納バイアスを深層学習に組み込む新しいアーキテクチャコンポーネントを提案する。構成タスクの制御実験を通じて,このTPRアテンション機構は,組合せ一般化において,既存のアーキテクチャコンポーネントよりも優れた性能を示すことを示す。これらの結果は、明示的な構成構造を神経の注意に組み込むことの価値を強調し、体系的な一般化が可能なモデルにとって有望な経路に向かっている。

関連論文リスト

Rethinking Generalization in Graph Neural Networks: A Structural Complexity Perspective [41.727617218821386]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための基本的なツールとして登場した。グラフ構造は実際に一般化に影響を与えますか? 最初の質問に答え、直観を検証するために、予測プロセスにより多くのエッジを組み込むことで、入力表現が出力モデルに過度に同調するように変換され、過度な適合が生じることを理論的に証明する。 2つ目の問題に対処するために、有効エッジの数に基づいて構造的複雑性尺度を定式化し、Radecher複雑性に基づく一般化境界を導出する。
論文参考訳（メタデータ） (2026-05-13T14:32:46Z)
Reinforcement Learning for Compositional Generalization with Outcome-Level Optimization [11.743149066177642]
既存のアプローチは、しばしば教師付き微調整に依存し、モデルがターゲット出力を模倣することを奨励する。本研究では,結果レベルの強化学習によって構成一般化を向上できるかどうかを検討する。
論文参考訳（メタデータ） (2026-05-06T13:47:31Z)
Layer Specialization Underlying Compositional Reasoning in Transformers [6.581088182267414]
トランスフォーマーは、トレーニング中に観察されていないシーケンスに関する構成的推論を示す。確率論的文脈自由文法であるランダム階層モデル(RHM)を用いて,この現象を考察する。メカニカルには、一般化性能と相関するトレーニング中の層特殊化の進行する出現を同定する。
論文参考訳（メタデータ） (2025-10-20T12:08:22Z)
Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning [50.99796659680724]
本研究では,GSM8Kスタイルのモジュラー演算をテストベッドとして用いたTransformerネットワークにおけるアウト・オブ・ディストリビューション(OOD)の一般化について検討する。我々は,OOD一般化の強化を目的とした4つのアーキテクチャ機構のセットを紹介し,検討する。我々はこれらの実験結果を詳細な機械論的解釈可能性分析で補完し、これらのメカニズムがOOD一般化能力をいかに高めるかを明らかにする。
論文参考訳（メタデータ） (2025-10-15T21:03:59Z)
What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
論文参考訳（メタデータ） (2024-05-02T20:10:27Z)
On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games [55.2480439325792]
逐次的意思決定問題において、情報構造とは、異なる時点に発生するシステム内の事象が相互にどのように影響するかを記述するものである。対照的に、現実のシーケンシャルな意思決定問題は通常、システム変数の複雑で時間的な相互依存を伴う。情報構造を明示する新しい強化学習モデルを定式化する。
論文参考訳（メタデータ） (2024-03-01T21:28:19Z)
Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings [60.698130703909804]
トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。本稿では,SQ-Transformerを提案する。 SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
論文参考訳（メタデータ） (2024-02-09T15:53:15Z)
On the generalization capacity of neural networks during generic multimodal reasoning [20.1430673356983]
マルチモーダル一般化のための大規模言語モデルの能力を評価し比較する。マルチモーダルインプットと体系的一般化のためには、クロスモーダルアテンションまたはより深いアテンション層を持つモデルが、マルチモーダルインプットを統合するのに必要な重要なアーキテクチャ的特徴である。
論文参考訳（メタデータ） (2024-01-26T17:42:59Z)
Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
論文参考訳（メタデータ） (2022-10-04T13:27:38Z)
On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文参考訳（メタデータ） (2022-06-09T16:24:01Z)
Iterated learning for emergent systematicity in VQA [3.977144385787228]
ニューラルモジュールネットワークは構成性に対するアーキテクチャ上のバイアスを持っている。レイアウトとモジュールを共同学習する場合、構成性は自動的に発生せず、適切な構造を示すレイアウトの出現には明示的な圧力が必要です。本研究では,自然における構成言語の出現に関する認知科学理論である反復学習を用いてこの問題に対処することを提案する。
論文参考訳（メタデータ） (2021-05-03T18:44:06Z)
Improving Compositional Generalization in Semantic Parsing [54.4720965813889]
オフ・オブ・ディストリビューション(OOD)データへのモデルの一般化は、最近、大きな注目を集めている。合成一般化のための自然なテストベッドである意味解析における合成一般化について検討する。
論文参考訳（メタデータ） (2020-10-12T12:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。