論文の概要: KnowsTFM: Knowledge-Informed Fine-Tuning of Small Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2606.30258v1
• Date: Mon, 29 Jun 2026 13:06:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.240374
• Title: KnowsTFM: Knowledge-Informed Fine-Tuning of Small Tabular Foundation Models
• Title（参考訳）: KnowsTFM: 知識インフォームド・ファインタニングによる小語彙基礎モデルのモデル化
• Abstract要約: 制御された合成前駆体で事前学習したナノスケールTabPFNおよびTabICLスタイルの変異体について検討した。 細調整中にドメイン固有の構造知識を注入すると、スペシャリスト設定においてバニラ変種よりも有意義な利得が得られることを示す。 さらに、フロンティアモデルの連続的な微調整は、事前訓練された知識とメカニズムの崩壊を引き起こす可能性があることを観察する。
• 参考スコア（独自算出の注目度）: 26.017951023029113
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Tabular foundation models have advanced deep learning for tabular data by delivering strong default performance across many small and medium tasks. Yet in niche domains, where data is scarce, high-dimensional, and shifted from the pretraining distribution, they may still fail to outperform carefully designed domain-specific methods. Many such domains also provide curated relational knowledge in the form of knowledge graphs and knowledge banks, but how to use this knowledge to improve and steer \textit{small} specialist tabular foundation models remains unclear. We address this problem through \textbf{Know}ledge-informed fine-tuning of \textbf{s}mall \textbf{T}abular \textbf{F}oundation \textbf{M}odels (\modelname). Specifically, we study nanoscale TabPFN- and TabICL-style variants, pretrained under controlled synthetic prior families and adapted using two complementary mechanisms: structural attention priors derived from knowledge graphs and parameter-efficient low-rank updates. We show that injecting domain-specific structural knowledge during fine-tuning yields meaningful gains over vanilla variants in specialist settings, whereas gains on general-domain tasks are marginal. We further observe that continual fine-tuning of frontier models can trigger collapse of pretrained knowledge and mechanisms.
• Abstract（参考訳）: タブラル基礎モデルは、多くの中小のタスクに対して強力なデフォルトパフォーマンスを提供することで、表データの高度なディープラーニングを実現している。 しかし、データが不足し、高次元であり、事前学習された分布からシフトしているニッチドメインでは、慎重に設計されたドメイン固有のメソッドよりもパフォーマンスが良くない可能性がある。 このようなドメインの多くは、知識グラフや知識銀行という形で、キュレートされた関係知識も提供しているが、この知識をいかにしてtextit{small} 専門の表層基盤モデルを改善し、管理するかは定かではない。 この問題に対して, \textbf{Know}ledge-informed fine-tuning of \textbf{s}mall \textbf{T}abular \textbf{F}oundation \textbf{M}odels (\modelname) を用いて対処する。 具体的には,ナノスケールのTabPFN-およびTabICL-スタイルの変種について検討し,制御された合成先行ファミリーの下で事前学習し,知識グラフから得られた構造的注意先行とパラメータ効率の低い低ランク更新の2つの相補的なメカニズムを用いて適用した。 細調整中にドメイン固有の構造知識を注入すると、専門的な設定においてバニラ変種よりも有意義な利得が得られるのに対し、一般ドメインタスクの利得は限界であることを示す。 さらに、フロンティアモデルの連続的な微調整は、事前訓練された知識とメカニズムの崩壊を引き起こす可能性があることを観察する。

関連論文リスト

• Tabular Foundation Model for Generative Modelling [34.3599321018728]
  生成モデリングは、教師付き予測対象のみを最適化するのではなく、与えられたデータモダリティに対して堅牢で全体論的表現学習を必要とする。 既存の表形式のファンデーションジェネレータは、合成データ品質において、強力なデータセット固有のジェネレータと一貫して一致していない。 事前訓練されたtextbfTabular textbffoundational textbfRepresentation for textbfGEneration 上に構築した TabFORGE を紹介する。
  論文  参考訳（メタデータ） (2026-05-10T08:52:28Z)
• Forgetting: A New Mechanism Towards Better Large Language Model Fine-tuning [51.92313556418432]
  Supervised Fine-tuning (SFT) は、事前訓練された大規模言語モデル (LLM) において重要な役割を果たす。 各コーパス内のトークンを、モデルパフォーマンスを改善するのに有用かどうかに基づいて、正と負の2つの部分に分類することを提案する。 我々は、よく確立されたベンチマークで実験を行い、この忘れるメカニズムが全体のモデル性能を向上するだけでなく、より多様なモデル応答を促進することを発見した。
  論文  参考訳（メタデータ） (2025-08-06T11:22:23Z)
• Localizing Knowledge in Diffusion Transformers [44.27817967554535]
  本研究では,Diffusion Transformerブロック内に特定の種類の知識がエンコードされている場所をローカライズするモデルおよび知識に依存しない手法を提案する。 同定されたブロックは、生成した出力における知識表現と因果関係があることが示される。 本研究は、DiTの内部構造に関する新たな知見を提供し、より解釈可能で、効率的で、制御可能なモデル編集のための実践的な経路を導入する。
  論文  参考訳（メタデータ） (2025-05-24T19:02:20Z)
• Instance-Prototype Affinity Learning for Non-Exemplar Continual Graph Learning [7.821213342456415]
  グラフニューラルネットワークは破滅的な忘れを耐え、以前獲得した知識を保持する能力を損なう。 非現代連続グラフ学習(NECGL)のための新しいパラダイムであるインスタンス型親和性学習(IPAL)を提案する。 我々は,PCL内に決定境界知覚機構を組み込み,クラス間識別性を向上する。
  論文  参考訳（メタデータ） (2025-05-15T07:35:27Z)
• Structural Entropy Guided Agent for Detecting and Repairing Knowledge Deficiencies in LLMs [11.724887822269528]
  大規模言語モデル(LLM)は、膨大な事前学習コーパスを活用することで、前例のない性能を達成した。 彼らの業績は、医学や科学研究のような知識集約的な領域において、依然として最適以下である。 本稿では,LLMの内在的知識不足に対処する構造エントロピー誘導型知識ナビゲータ(SENATOR)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-12T02:21:36Z)
• Knowledge Graph Enhanced Generative Multi-modal Models for Class-Incremental Learning [51.0864247376786]
  学習過程を通じて進化する知識グラフを構築する知識グラフ強化多モードモデル(KG-GMM)を導入する。 テスト中,生成されたテキスト内の関係を解析し,特定のカテゴリを特定する知識グラフ拡張推論手法を提案する。
  論文  参考訳（メタデータ） (2025-03-24T07:20:43Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• Transformers with Stochastic Competition for Tabular Data Modelling [6.285325771390289]
  本稿では,表型データに特化して設計された新しいディープラーニングモデルを提案する。 このモデルは、広く使用されており、公開されているさまざまなデータセットで検証されている。 これらの要素を組み込むことで、我々のモデルは高い性能が得られることを実証する。
  論文  参考訳（メタデータ） (2024-07-18T07:48:48Z)
• Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models [65.10456412127405]
  本稿では,非構造化知識編集手法,すなわちUnKEを提案する。 そこで本研究では,非局所ブロック鍵値記憶方式を提案する。 トークンのディメンションでは、コンテキストを保存しながら最後のトークンを直接編集する"期間駆動最適化"を"原因駆動最適化"に置き換えます。
  論文  参考訳（メタデータ） (2024-05-24T08:42:40Z)
• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Learning the Finer Things: Bayesian Structure Learning at the Instantiation Level [0.0]
  成功した機械学習手法は記憶と一般化の間のトレードオフを必要とする。 本稿では,探索的領域で学習し,一般化し,説明できる新しい確率的グラフィカルモデル構造学習手法を提案する。
  論文  参考訳（メタデータ） (2023-03-08T02:31:49Z)
• Adapting Knowledge for Few-shot Table-to-Text Generation [35.59842534346997]
  AKG(Adapt-Knowledge-to-Generate)という新しいフレームワークを提案する。 AKGはラベルのないドメイン固有の知識をモデルに適応させ、少なくとも3つの利点をもたらす。 本モデルでは,人間の評価と自動評価により,流速,精度の両面において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-24T05:48:53Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• Privacy-preserving machine learning with tensor networks [37.01494003138908]
  テンソルネットワークアーキテクチャは、特にプライバシー保護機械学習に期待できる特性を持つことを示す。 まず、フィードフォワードニューラルネットワークに存在する新たなプライバシ脆弱性を説明し、それを合成および実世界のデータセットで説明する。 このような条件がテンソルネットワークアーキテクチャによって満たされていることを厳密に証明する。
  論文  参考訳（メタデータ） (2022-02-24T19:04:35Z)
• Unsupervised Pre-training with Structured Knowledge for Improving Natural Language Inference [22.648536283569747]
  本研究では,事前学習モデルの異なるコンポーネントにおける構造化知識を活用するモデルを提案する。 以上の結果から,提案モデルは従来のBERTモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-08T21:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。