論文の概要: Tensor Network Datamodels for Training Data Attribution

• arxiv url: http://arxiv.org/abs/2610.24721v1
• Date: Sat, 17 Oct 2026 14:33:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 16:46:51.157134
• Title: Tensor Network Datamodels for Training Data Attribution
• Title（参考訳）: トレーニングデータ帰属のためのテンソルネットワークデータモデル
• Abstract要約: トレーニングユニット間の依存関係をモデル化するために低ランクテンソルネットワークを使用するネットワークデータモデル(TNDM)を導入する。 相補的かつ冗長な訓練群は、コンパクトな低ランク表現を持つ高次部分集合関数を誘導できることを示す。
• 参考スコア（独自算出の注目度）: 7.146957557404389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Datamodels predict how a model's behavior changes when different parts of its training data are included or removed. However, linear datamodels assign fixed contributions to training units and cannot represent non-additive joint effects. We introduce Tensor Network Datamodels (TNDMs), which use low-rank tensor networks to model dependencies among training units while keeping the representation compact. TNDMs learn a map from subsets of the training data to the outcome of training on those subsets, allowing them to represent interactions among several training units. We prove that complementary and redundant training groups can induce high-degree subset functions with compact low-rank representations. A single fitted TNDM can then be used for several training data questions, including predicting the effect of removing data, measuring the importance of individual training units, identifying interactions between training units, and selecting useful subsets of the training data. We evaluate TNDMs on controlled tasks designed to contain strong interactions, as well as standard fine-tuning settings for classification and reasoning. On a controlled reasoning task, TNDMs outperform every baseline while observing only half as many training subsets, and TNDM-TT reduces prediction NMSE by $89\%$ relative to the linear datamodel after observing approximately $0.0061\%$ of all possible training subsets. In factual-association fine-tuning, a single TNDM-CP raises held-out $\mathrm{R}^2$ from $0.579$ to $0.668$ over the linear datamodel. These results demonstrate that compact low-rank models improve prediction when training data effects depend on combinations of training groups.
• Abstract（参考訳）: データモデルは、トレーニングデータの異なる部分が含まれたり削除されたりした場合、モデルの振る舞いがどのように変化するかを予測します。 しかし、線形データモデルはトレーニングユニットに固定的なコントリビューションを割り当て、非付加的な関節効果を表現できない。 我々は,低ランクテンソルネットワークを用いて,表現をコンパクトに保ちながらトレーニング単位間の依存関係をモデル化するTensor Network Datamodels (TNDMs)を紹介した。 TNDMは、トレーニングデータのサブセットからこれらのサブセットのトレーニング結果までのマップを学び、複数のトレーニングユニット間の相互作用を表現する。 相補的かつ冗長な訓練群は、コンパクトな低ランク表現を持つ高次部分集合関数を誘導できることを示す。 次に、データの削除効果の予測、個々のトレーニングユニットの重要性の測定、トレーニングユニット間の相互作用の特定、トレーニングデータの有用なサブセットの選択など、いくつかのトレーニングデータ質問に単一のTNDMを使用することができる。 我々は、強力なインタラクションを含むように設計された制御タスクと、分類と推論のための標準的な微調整設定について、TNDMを評価する。 制御された推論タスクでは、TNDMはトレーニングサブセットの半分しか観測せず、すべてのベースラインよりも優れており、TNDM-TTは、トレーニングサブセットの約0.0061\%を観測した後、線形データモデルに対する予測NMSEを89\%削減する。 実際には、TNDM-CPは、線形データモデル上でホールドアウトされた$\mathrm{R}^2$を0.579$から$0.668$に上げる。 これらの結果は、訓練データの影響が訓練群の組み合わせに依存する場合、コンパクトな低ランクモデルにより予測が向上することを示す。

関連論文リスト

• Unified Multi-Dataset Training for TBPS [7.745213180689951]
  既存のTBPS手法は、分散シフトを処理するためにデータセット中心の微調整に依存している。 複数のデータセットにまたがって単一の統合TBPSモデルをトレーニングできますか? 現在のトレーニングパラダイムは、多数のユニークな個人IDにスケールしないため、すべてのデータセットに対するナイーブな共同トレーニングは、依然として準最適であることを示す。 i)様々なTBPSデータセットを結合的にマージするノイズ対応統合データセットキュレーション戦略,(ii)スケーラブルな識別識別学習フレームワークである。
  論文  参考訳（メタデータ） (2026-01-21T13:26:28Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Personalized Control for Lower Limb Prosthesis Using Kolmogorov-Arnold Networks [0.0]
  本稿では,低床義肢義肢のパーソナライズのためのKAN(Kolmogorov-Arnold Networks)における学習可能なアクティベーション機能の可能性について検討する。 さらに、ユーザ固有のトレーニングデータとプールされたトレーニングデータを評価し、ターンインテンション予測のための機械学習(ML)とディープラーニング(DL)のパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2025-05-14T13:18:57Z)
• On Linear Representations and Pretraining Data Frequency in Language Models [54.756179696806356]
  本研究では,事前学習データ周波数と実関係の線形表現との関係について検討する。 線形表現の形成が事前学習項周波数と強く結びついていることを示す。 LMにおける線形表現の強さは、モデルの事前学習コーパスに関する信号を含むと結論付けている。
  論文  参考訳（メタデータ） (2025-04-16T19:50:03Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• Semantically Redundant Training Data Removal and Deep Model Classification Performance: A Study with Chest X-rays [5.454938535500864]
  本稿では,意味的に冗長なトレーニングデータを識別・除去するためのエントロピーに基づくサンプルスコアリング手法を提案する。 我々は、トレーニングデータの情報サブセットに基づいてトレーニングされたモデルが、トレーニングセット全体においてトレーニングされたモデルよりも大幅に優れる、公開可能なNIH胸部X線データセットを使用することを実証する。
  論文  参考訳（メタデータ） (2023-09-18T13:56:34Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Reconstructing Training Data from Diverse ML Models by Ensemble Inversion [8.414622657659168]
  モデルインバージョン(MI)は、学習された機械学習(ML)モデルへのアクセスを敵が悪用するものであり、研究の注目を集めている。 本研究では,訓練されたモデルのアンサンブルに制約されたジェネレータを訓練することにより,元のトレーニングデータの分布を推定するアンサンブル変換手法を提案する。 データセットを使わずに高品質な結果が得られ、想定されるトレーニングデータに類似した補助データセットを利用することで、結果がどう改善されるかを示す。
  論文  参考訳（メタデータ） (2021-11-05T18:59:01Z)
• MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization [29.368950377171995]
  我々は、教師なし学習と半教師なし学習を併用するために、相互情報に基づく教師なし・半教師付き並行学習(MUSCLE)を導入する。 MUSCLEはニューラルネットワークのスタンドアロントレーニングスキームとして使用することができ、他の学習手法にも組み込むことができる。 提案手法は,CIFAR-10,CIFAR-100,Mini-Imagenetなど,いくつかの標準ベンチマークにおいて,その性能に優れることを示す。
  論文  参考訳（メタデータ） (2020-11-30T23:01:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。