論文の概要: Toward a Unified Statistical Theory of Unsupervised Pretraining and Supervised Neural Knowledge Graph Learning

• arxiv url: http://arxiv.org/abs/2607.26346v1
• Date: Tue, 28 Jul 2026 23:40:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.497663
• Title: Toward a Unified Statistical Theory of Unsupervised Pretraining and Supervised Neural Knowledge Graph Learning
• Title（参考訳）: 教師なし事前学習と教師付きニューラルネットワークグラフ学習の統一統計的理論に向けて
• Abstract要約: 我々は知識グラフ学習のためのエンドツーエンドのトレーニングフレームワークを開発した。 本稿では,エンティティごとのラベル付き三重項の不足と,スコアリング関数のアドホック設計について述べる。 我々は,ラベル付きサンプル複雑性から事前学習した表現誤りを解消する漸近的リスク境界を確立する。
• 参考スコア（独自算出の注目度）: 6.915374386597587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge graph learning provides a powerful framework for representing and inferring structured knowledge, with broad practical applications. However, the scarcity of relation-specific labeled triples per entity hinders the training of expressive models, and the ad hoc design of scoring functions limits generalizability and lacks theoretical grounding. We address both issues with a theoretically grounded, end-to-end training framework that extends and subsumes existing methods. Our framework is a two-stage procedure: unsupervised pretraining over heterogeneous corpora followed by supervised learning with multiple relation types. We establish a nonasymptotic risk bound that disentangles pretraining representation error from labeled-sample complexity, formally quantifying the benefit of large-scale unlabeled data for downstream knowledge prediction. Synthetic experiments validate each theoretical component, and real-world experiments confirm the effectiveness of our approach on large-scale knowledge graph benchmarks.
• Abstract（参考訳）: 知識グラフ学習は、構造化知識を表現し、推論するための強力なフレームワークを提供する。 しかし、エンティティ毎の関係性のあるラベル付き三重項の不足は表現的モデルの訓練を妨げ、スコアリング関数のアドホック設計は一般化可能性に制限を与え、理論的根拠を欠いている。 既存のメソッドを拡張して仮定する、理論的に基礎付けられたエンドツーエンドのトレーニングフレームワークで、両方の問題に対処する。 我々のフレームワークは2段階の手続きであり、不均一なコーパスに対する教師なし事前学習と、複数の関係型による教師付き学習である。 我々は、ラベル付きサンプル複雑性から事前学習した表現誤りを解き、ダウンストリーム知識予測のための大規模ラベルなしデータの利点を正式に定量化する、漸近的リスク境界を確立する。 合成実験は, 各理論成分を検証し, 実世界の実験は, 大規模知識グラフベンチマークにおけるアプローチの有効性を実証する。

関連論文リスト

• A Knowledge-Informed Pretrained Model for Causal Discovery [61.8885572392623]
  因果発見は広く研究されてきたが、多くの既存の手法は強い仮定に依存している。 本稿では,弱い事前知識を原則的中核として統合した,因果発見のための知識インフォームド事前学習モデルを提案する。 本モデルでは,2つのソースエンコーダ・デコーダアーキテクチャを用いて,観測データを知識に富んだ方法で処理する。
  論文  参考訳（メタデータ） (2026-03-21T14:59:41Z)
• Understanding Catastrophic Interference: On the Identifibility of Latent Representations [67.05452287233122]
  破滅的な干渉、あるいは破滅的な忘れ(Caastrophic forgetting)は、機械学習の根本的な課題である。 本稿では,破滅的干渉を識別問題として定式化する新しい理論枠組みを提案する。 我々のアプローチは、合成データセットとベンチマークデータセットの両方で理論的保証と実用的なパフォーマンスの改善を提供する。
  論文  参考訳（メタデータ） (2025-09-27T00:53:32Z)
• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Towards the Generalization of Contrastive Self-Supervised Learning [11.889992921445849]
  本稿では, 自己教師付き事前学習モデルが下流タスクにどのように一般化するかを理論的に説明する。 さらに,SimCLR と Barlow Twins についても検討する。
  論文  参考訳（メタデータ） (2021-11-01T07:39:38Z)
• Bi-tuning of Pre-trained Representations [79.58542780707441]
  Bi-tuningは、教師付きと教師なしの両方の事前訓練された表現を下流タスクに微調整するための一般的な学習フレームワークである。 バイチューニングは、事前訓練された表現のバックボーンに2つのヘッドを統合することで、バニラファインチューニングを一般化する。 バイチューニングは、教師付きモデルと教師なしモデルの両方の微調整タスクを大きなマージンで達成する。
  論文  参考訳（メタデータ） (2020-11-12T03:32:25Z)
• Functional Regularization for Representation Learning: A Unified Theoretical Perspective [27.93916012334704]
  教師なしおよび自己教師なしの学習アプローチは、下流予測タスクの表現を学習するための重要なツールとなっている。 本稿では、ラベルなしデータを用いて学習可能な関数を通して表現に正規化を付与するものとして、このようなアプローチがいくつか考えられる統一的な視点を示す。 本稿では,これらの手法のサンプル複雑性を分析するための識別的理論的枠組みを提案し,学習可能な正規化関数を実現するために(Balcan and Blum, 2010)の枠組みを一般化する。
  論文  参考訳（メタデータ） (2020-08-06T04:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。