論文の概要: Structure and Destructure: Dual Forces in the Making of Knowledge Engines

• arxiv url: http://arxiv.org/abs/2509.00949v1
• Date: Sun, 31 Aug 2025 17:57:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.476603
• Title: Structure and Destructure: Dual Forces in the Making of Knowledge Engines
• Title（参考訳）: 構造と破壊 - 知識エンジンの創出における二重力-
• Authors: Yihong Chen,
• Abstract要約: 自然言語処理における知識エンジンの作成は、2つの明らかに異なるパラダイムによって形作られてきた。 構造化パラダイムは、知識グラフのような事前に定義されたシンボリック相互作用を利用する。 構造化されていないパラダイムは、現代の大規模言語モデルに見られるように、ますます膨大なデータとモデルサイズを持つトランスフォーマーアーキテクチャのスケーリングに重点を置いている。
• 参考スコア（独自算出の注目度）: 9.115474230901873
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The making of knowledge engines in natural language processing has been shaped by two seemingly distinct paradigms: one grounded in structure, the other driven by massively available unstructured data. The structured paradigm leverages predefined symbolic interactions, such as knowledge graphs, as priors and designs models to capture them. In contrast, the unstructured paradigm centers on scaling transformer architectures with increasingly vast data and model sizes, as seen in modern large language models. Despite their divergence, this thesis seeks to establish conceptual connections bridging these paradigms. Two complementary forces, structure and destructure, emerge across both paradigms: structure organizes seen symbolic interactions, while destructure, through periodic embedding resets, improves model plasticity and generalization to unseen scenarios. These connections form a new recipe for developing general knowledge engines that can support transparent, controllable, and adaptable intelligent systems.
• Abstract（参考訳）: 自然言語処理における知識エンジンの作成は、2つの明らかに異なるパラダイムによって形作られてきた。 構造化パラダイムは、知識グラフのような事前に定義されたシンボリック相互作用を利用する。 対照的に、非構造化パラダイムは、現代の大規模言語モデルに見られるように、ますます膨大なデータとモデルサイズを持つトランスフォーマーアーキテクチャのスケーリングに焦点を当てている。 その相違にもかかわらず、この論文はこれらのパラダイムを橋渡しする概念的なつながりを確立しようと試みている。 構造は象徴的な相互作用を組織し、構造は周期的な埋め込みリセットを通じて、モデルの可塑性を改善し、目に見えないシナリオに一般化する。 これらの接続は、透明で制御可能で適応可能なインテリジェントシステムをサポートする一般的な知識エンジンを開発するための新しいレシピを形成する。

関連論文リスト

• Cross-Model Semantics in Representation Learning [1.2064681974642195]
  構造的正則性は、構造的変動の下でより安定な表現幾何学を誘導することを示す。 これは、ある種の帰納バイアスがモデル内の一般化をサポートするだけでなく、モデル間の学習された機能の相互運用性を向上させることを示唆している。
  論文  参考訳（メタデータ） (2025-08-05T16:57:24Z)
• Information Structure in Mappings: An Approach to Learning, Representation, and Generalisation [3.8073142980733]
  この論文では、空間間の写像における体系的構造を特定するための定量的手法を紹介している。 マッピングに存在する構造的プリミティブと、それぞれの情報理論を識別します。 また、ベクトル空間のエントロピーを推定する新しい高性能なアプローチを導入し、この分析を100万から1200億のパラメータのモデルに適用する。
  論文  参考訳（メタデータ） (2025-05-29T19:27:50Z)
• Directional Non-Commutative Monoidal Structures for Compositional Embeddings in Machine Learning [0.0]
  指向性非可換モノイド作用素上に構築された合成埋め込みのための新しい構造を導入する。 我々の構成では、各軸 i に対して異なる合成演算子 circ_i を定義し、大域的な可換性を与えることなく、各軸に沿って連想結合を保証する。 すべての軸特異作用素は互いに可換であり、一貫した交叉軸合成を可能にする大域的交換法則を強制する。
  論文  参考訳（メタデータ） (2025-05-21T13:27:14Z)
• Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
  合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。 局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。 この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
  論文  参考訳（メタデータ） (2025-05-11T17:44:14Z)
• Learning Correlation Structures for Vision Transformers [93.22434535223587]
  構造自己注意(StructSA)と呼ばれる新しい注意機構を導入する。 我々は、畳み込みによるキー-クエリ相関の時空間構造を認識して注意マップを生成する。 これは、シーンレイアウト、オブジェクトの動き、オブジェクト間の関係など、画像やビデオのリッチな構造パターンを効果的に活用する。
  論文  参考訳（メタデータ） (2024-04-05T07:13:28Z)
• StructRe: Rewriting for Structured Shape Modeling [60.20359722058389]
  本稿では,構造化形状モデリングの新しいアプローチとして,構造書換えシステムであるStructReを提案する。 ポイントとコンポーネントで表される3Dオブジェクトが与えられたら、StructReはそれを上向きに、より簡潔な構造に書き直すか、より詳細な構造に書き直すことができる。
  論文  参考訳（メタデータ） (2023-11-29T10:35:00Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• Integrating Knowledge Graph embedding and pretrained Language Models in Hypercomplex Spaces [29.71047521165222]
  我々は、単一モジュラリティの既存の強表現の上に構築し、(i)単一モジュラリティ埋め込みと(ii)異なるモジュラリティ間の相互作用を表現するために超複素代数を使用する。 より具体的には、4次元超複素数のディヘドロンと四元数表現を、構造知識グラフの埋め込み、単語レベルの表現、文書レベルの表現という4つのモダリティを統合するよう提案する。 我々の統一ベクトル表現はハミルトン積とディヘドロン積を通じてラベル付きエッジの可算性を評価し、異なるモジュラリティ間のペアワイズ相互作用をモデル化する。
  論文  参考訳（メタデータ） (2022-08-04T16:18:16Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。