論文の概要: Task Scarcity and Label Leakage in Relational Transfer Learning
- arxiv url: http://arxiv.org/abs/2603.29914v1
- Date: Tue, 31 Mar 2026 15:55:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-01 15:25:03.763223
- Title: Task Scarcity and Label Leakage in Relational Transfer Learning
- Title（参考訳）: リレーショナルトランスファー学習におけるタスクスカシティとラベルリーク
- Authors: Francisco Galuppo Azevedo, Clarissa Lima Loures, Denis Oliveira Correa,
- Abstract要約: リレーショナル基礎モデルのトレーニングには、タスク間で転送される学習表現が必要ですが、一般的にはデータベース毎の少数の予測ターゲットに限られます。
この問題は、学習した表現が同じスキーマ内でも転送を分解するタスク固有のショートカットをエンコードする原因となる。
本稿では,表現更新からラベル予測方向を除去する勾配予測手法を提案する。
RelBenchでは、これは平均で+0.145 AUROCのデータセット内転送を改善し、多くの場合、シングルタスクに近いパフォーマンスを回復する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training relational foundation models requires learning representations that transfer across tasks, yet available supervision is typically limited to a small number of prediction targets per database. This task scarcity causes learned representations to encode task-specific shortcuts that degrade transfer even within the same schema, a problem we call label leakage. We study this using K-Space, a modular architecture combining frozen pretrained tabular encoders with a lightweight message-passing core. To suppress leakage, we introduce a gradient projection method that removes label-predictive directions from representation updates. On RelBench, this improves within-dataset transfer by +0.145 AUROC on average, often recovering near single-task performance. Our results suggest that limited task diversity, not just limited data, constrains relational foundation models.
- Abstract（参考訳）: リレーショナル基礎モデルのトレーニングには、タスク間で転送される学習表現が必要ですが、一般的にはデータベース毎の少数の予測ターゲットに限られます。
このタスク不足は、学習した表現が同じスキーマ内でも転送を分解するタスク固有のショートカットをエンコードする原因になります。
K-Spaceは,凍結した事前学習したタブ状エンコーダと軽量なメッセージパッシングコアを組み合わせたモジュールアーキテクチャである。
リークを抑制するため,表現更新からラベル予測方向を除去する勾配予測手法を提案する。
RelBenchでは、これは平均で+0.145 AUROCのデータセット内転送を改善し、多くの場合、シングルタスクに近いパフォーマンスを回復する。
我々の結果は、限られたデータだけでなく、限られたタスクの多様性はリレーショナル基礎モデルに制約を課していることを示唆している。
関連論文リスト
- Gradient-Sign Masking for Task Vector Transport Across Pre-Trained Models [25.83401080149413]
転送を成功させる鍵は、新しいモデルの勾配の符号構造にあることを示す。
理想的な勾配符号構造を近似する新しい手法であるGradFixを提案する。
視覚と言語ベンチマークにおいて大きなパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2025-10-07T13:30:25Z) - Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。
最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。
このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
論文 参考訳（メタデータ） (2023-03-02T17:32:11Z) - Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。
提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
論文 参考訳（メタデータ） (2022-12-16T02:43:52Z) - Losses over Labels: Weakly Supervised Learning via Direct Loss
Construction [71.11337906077483]
プログラム可能な弱い監視は、機械学習のパラダイムとして成長している。
ラベルの中間ステップを経由することなく,直接損失を発生させるため,ラベルのロバスト・オーバー・ラベル(Losses over Labels, LoL)を提案する。
いくつかのベンチマークテキストおよび画像分類タスクにおいて、LoLは既存の弱い監督手法を改善していることを示す。
論文 参考訳（メタデータ） (2022-12-13T22:29:14Z) - Discrete Key-Value Bottleneck [95.61236311369821]
ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。
この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。
しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。
この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
論文 参考訳（メタデータ） (2022-07-22T17:52:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。