論文の概要: Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective

• arxiv url: http://arxiv.org/abs/2406.11249v1
• Date: Mon, 17 Jun 2024 06:20:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 18:04:29.229488
• Title: Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective
• Title（参考訳）: 事前学習モデルにおける関係学習:ハイパーグラフ回復の観点からの理論
• Authors: Yang Chen, Cong Fang, Zhouchen Lin, Bing Liu,
• Abstract要約: 我々は,関係学習をハイパーグラフリカバリとして形式化する数学的モデルを導入し,基礎モデル(FM)の事前学習について検討する。 我々のフレームワークでは、世界はハイパーグラフとして表現され、データはハイパーエッジからランダムなサンプルとして抽象化される。我々は、このハイパーグラフを復元するための事前学習モデル(PTM)の有効性を理論的に検証し、ミニマックスに近い最適スタイルでデータ効率を解析する。
• 参考スコア（独自算出の注目度）: 60.64922606733441
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation Models (FMs) have demonstrated remarkable insights into the relational dynamics of the world, leading to the crucial question: how do these models acquire an understanding of world hybrid relations? Traditional statistical learning, particularly for prediction problems, may overlook the rich and inherently structured information from the data, especially regarding the relationships between objects. We introduce a mathematical model that formalizes relational learning as hypergraph recovery to study pre-training of FMs. In our framework, the world is represented as a hypergraph, with data abstracted as random samples from hyperedges. We theoretically examine the feasibility of a Pre-Trained Model (PTM) to recover this hypergraph and analyze the data efficiency in a minimax near-optimal style. By integrating rich graph theories into the realm of PTMs, our mathematical framework offers powerful tools for an in-depth understanding of pre-training from a unique perspective and can be used under various scenarios. As an example, we extend the framework to entity alignment in multimodal learning.
• Abstract（参考訳）: ファンデーション・モデル(FM)は、世界のリレーショナル・ダイナミクスに関する顕著な洞察を示しており、これらのモデルがどのように世界のハイブリッド・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレーショナル・リレー 従来の統計的学習(特に予測問題)は、データ、特にオブジェクト間の関係に関して、リッチで本質的に構造化された情報を見落としてしまうことがある。 本研究では,関係学習をハイパーグラフリカバリとして形式化する数学的モデルを導入し,FMの事前学習について検討する。 我々のフレームワークでは、世界はハイパーグラフとして表現され、ハイパーエッジからランダムなサンプルとして抽象化される。 我々は,このハイパーグラフを復元するための事前学習モデル (PTM) の有効性を理論的に検討し,データ効率を極小近似方式で解析する。 リッチグラフ理論をPTMの領域に統合することにより、我々の数学的フレームワークは、独特な視点から事前学習を深く理解するための強力なツールを提供し、様々なシナリオで利用することができる。 例えば、マルチモーダル学習において、フレームワークをエンティティアライメントに拡張する。

関連論文リスト

• Big Cooperative Learning [7.958840888809145]
  基礎モデルのトレーニングは,大きな協調学習の一形態として解釈できることを示す。 本稿では,多目的データサンプリング機能を備えた新しい逆学習基盤モデルであるBigLearn-GANを提案する。
  論文  参考訳（メタデータ） (2024-07-31T03:59:14Z)
• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Generative learning for nonlinear dynamics [7.6146285961466]
  生成機械学習モデルは、トレーニングデータを超えて、現実的なアウトプットを生成します。 これらの成功は、生成モデルが任意の複雑な分布を効果的にパラメータ化し、サンプリングすることを学ぶことを示唆している。 我々は,これらの古典作品と大規模生成統計学習の新たなテーマを結びつけることを目的としている。
  論文  参考訳（メタデータ） (2023-11-07T16:53:56Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Towards a mathematical understanding of learning from few examples with nonlinear feature maps [68.8204255655161]
  トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。 我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
  論文  参考訳（メタデータ） (2022-11-07T14:52:58Z)
• Learning Differential Operators for Interpretable Time Series Modeling [34.32259687441212]
  逐次データから解釈可能なPDEモデルを自動的に取得できる学習フレームワークを提案する。 我々のモデルは、貴重な解釈可能性を提供し、最先端モデルに匹敵する性能を達成することができる。
  論文  参考訳（メタデータ） (2022-09-03T20:14:31Z)
• Bias-inducing geometries: an exactly solvable data model with fairness implications [13.690313475721094]
  我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。 この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。 フェアネス評価によく用いられる観測対象の正確な予測値を得る。
  論文  参考訳（メタデータ） (2022-05-31T16:27:57Z)
• PPKE: Knowledge Representation Learning by Path-based Pre-training [43.41597219004598]
  PPKEと呼ばれる知識埋め込み学習のためのパスベース事前学習モデルを提案する。 本モデルはリンク予測と関係予測タスクのためのいくつかのベンチマークデータセットで最新の結果を得る。
  論文  参考訳（メタデータ） (2020-12-07T10:29:30Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。