論文の概要: Supervised learning pays attention

• arxiv url: http://arxiv.org/abs/2512.09912v1
• Date: Wed, 10 Dec 2025 18:43:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-11 15:14:53.643053
• Title: Supervised learning pays attention
• Title（参考訳）: 教師付き学習は注意を払う
• Authors: Erin Craig, Robert Tibshirani,
• Abstract要約: 注意を伴うコンテキスト内学習により、大きなニューラルネットワークは、関連する例に選択的にフォーカスすることで、コンテキスト固有の予測を行うことができる。 予測点ごとにパーソナライズされたモデルを柔軟に適合させる方法を示し,(2)モデルが簡潔さと解釈可能性を維持することを示す。 本手法は,注目度に応じてトレーニングデータを重み付けすることで,各試験観測の局所モデルに適合する。
• 参考スコア（独自算出の注目度）: 42.97070083645048
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning with attention enables large neural networks to make context-specific predictions by selectively focusing on relevant examples. Here, we adapt this idea to supervised learning procedures such as lasso regression and gradient boosting, for tabular data. Our goals are to (1) flexibly fit personalized models for each prediction point and (2) retain model simplicity and interpretability. Our method fits a local model for each test observation by weighting the training data according to attention, a supervised similarity measure that emphasizes features and interactions that are predictive of the outcome. Attention weighting allows the method to adapt to heterogeneous data in a data-driven way, without requiring cluster or similarity pre-specification. Further, our approach is uniquely interpretable: for each test observation, we identify which features are most predictive and which training observations are most relevant. We then show how to use attention weighting for time series and spatial data, and we present a method for adapting pretrained tree-based models to distributional shift using attention-weighted residual corrections. Across real and simulated datasets, attention weighting improves predictive performance while preserving interpretability, and theory shows that attention-weighting linear models attain lower mean squared error than the standard linear model under mixture-of-models data-generating processes with known subgroup structure.
• Abstract（参考訳）: 注意を伴うコンテキスト内学習により、大きなニューラルネットワークは、関連する例に選択的にフォーカスすることで、コンテキスト固有の予測を行うことができる。 本稿では,この考え方を,グラフデータに対してラッソ回帰や勾配向上などの教師あり学習手順に適用する。 私たちの目標は、(1)予測ポイントごとにパーソナライズされたモデルに柔軟に適合し、(2)モデルの単純さと解釈可能性を維持することです。 本手法は,注目度に応じてトレーニングデータを重み付けすることで,各テスト観察の局所モデルに適合し,その結果を予測する特徴や相互作用を強調する教師付き類似度尺度である。 注意重み付けにより、クラスタや類似性を事前に指定することなく、データ駆動方式で異種データに適応することができる。 それぞれのテスト観察において、どの特徴が最も予測可能で、どのトレーニング観察が最も関連があるかを識別する。 そこで我々は,時系列データや空間データに注目重み付けを利用する方法を示し,注意重み付け残差補正を用いて,事前学習した木質モデルを分布シフトに適応させる手法を提案する。 実・模擬データセット全体にわたって、注意重み付けは解釈可能性を維持しながら予測性能を向上し、理論上、注意重み付け線形モデルは既知のサブグループ構造を持つ混合モデルデータ生成プロセスにおいて、標準線形モデルよりも平均2乗誤差が低いことを示す。

関連論文リスト

• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Invariance Pair-Guided Learning: Enhancing Robustness in Neural Networks [0.0]
  トレーニングフェーズを通じてニューラルネットワークを誘導する手法を提案する。 従来の勾配降下法を補完する補正勾配を形成する。 ColoredMNIST、Waterbird-100、CelebANISTデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2025-02-26T09:36:00Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• EAMDrift: An interpretable self retrain model for time series [0.0]
  EAMDrift(EAMDrift)は、複数の個人予測器から予測を合成し、性能指標に従って予測を重み付けする新しい手法である。 EAMDriftはデータのアウト・オブ・ディストリビューションパターンに自動的に適応し、各瞬間に使用する最も適切なモデルを特定するように設計されている。 本研究は,EAMDriftが個々のベースラインモデルより20%優れ,非解釈可能なアンサンブルモデルに匹敵する精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-31T13:25:26Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Discriminative, Generative and Self-Supervised Approaches for Target-Agnostic Learning [8.666667951130892]
  生成的および自己教師型学習モデルは、そのタスクでうまく機能することが示されている。 擬似相似理論の導出した定理は、結合分布モデルの推定に関係があることも示している。
  論文  参考訳（メタデータ） (2020-11-12T15:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。