論文の概要: Diagonalized Attention for Individualized Regression: Latent-Row Localization and Prediction

• arxiv url: http://arxiv.org/abs/2609.21320v1
• Date: Fri, 18 Sep 2026 04:56:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.864312
• Title: Diagonalized Attention for Individualized Regression: Latent-Row Localization and Prediction
• Title（参考訳）: 個人化回帰に対する対角的注意:潜時局所化と予測
• Abstract要約: 現代のテキストと画像の表現は、しばしばマトリックス値で評価され、トークン、パッチ、その他の局所的特徴ベクトルに対応する行がある。 予測情報は、しばしばスパースであるがサンプル固有であり、古典的なスパース回帰法は、この異種性にはあまり適さない共通のサポートを持つ。 本稿では,行列値共変量に対する個別化されたスパース回帰の枠組みを定式化し,各観測結果がそれぞれの興味行を持つとともに,関連する回帰効果が個体群間で共有されることを示す。
• 参考スコア（独自算出の注目度）: 13.371749769316756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern text and image representations are often matrix-valued, with rows corresponding to tokens, patches, or other local feature vectors. Predictive information is often sparse but sample-specific, making classical sparse regression methods with a common support poorly suited to this heterogeneity. This paper formalizes an individualized sparse regression framework for matrix-valued covariates in which each observation has its own rows of interest, while the associated regression effects are shared across the population. To estimate this model, we introduce a diagonalized attention mechanism that uses query--key scores to localize sample-specific signal rows and a value matrix for downstream regression. The proposed method has a parameter dimension independent of sample size and can identify rows of interest for new observations without their responses. We establish existence theorems showing that, under suitable score-separation and concentration conditions, single-head and multi-head diagonalized attention models recover the latent rows with high probability, yielding prediction risk bounds. Our theory therefore provides a statistical explanation of how attention-based scoring localizes sample-specific signals in heterogeneous matrix-valued data. Simulations demonstrate strong prediction and localization in regression and misspecified classification across varying sample sizes, dimensions, and signal cardinalities. Real sentiment analyses show improved classification accuracy and interpretable token selection.
• Abstract（参考訳）: 現代のテキストや画像の表現は、しばしばマトリックス値で評価され、トークン、パッチ、その他の局所的特徴ベクトルに対応する行がある。 予測情報は、しばしばスパースであるがサンプル固有であり、古典的なスパース回帰法は、この異種性にはあまり適さない共通のサポートを持つ。 本稿では,行列値共変量に対する個別化されたスパース回帰の枠組みを定式化し,各観測結果がそれぞれの興味行を持つとともに,関連する回帰効果が個体群間で共有されることを示す。 このモデルを推定するために、クエリキースコアを使用してサンプル固有の信号列をローカライズする対角化アテンション機構と、下流回帰のための値行列を導入する。 提案手法は, サンプルサイズに依存しないパラメータ次元を持ち, 応答を伴わない新しい観測の行を同定することができる。 我々は,適切なスコアセパレーションと集中条件の下で,単一頭部および多頭部対角化注意モデルが潜在行を高い確率で復元し,予測リスク境界が得られることを示す存在定理を確立した。 そこで本理論は,不均一な行列値データにおいて,注目度に基づくスコアリングがサンプル固有信号をどのように局在させるのかを統計的に説明する。 シミュレーションは、様々なサンプルサイズ、寸法、信号の濃度にまたがる回帰と不特定な分類において、強い予測と局所化を示す。 実感分析では、分類精度と解釈可能なトークン選択が改善された。

関連論文リスト

• Robust Dual-Regularized Variable Selection under Outlier Contamination [0.0]
  本研究では,外層汚染を伴う単一指標モデルにおける変分選択のための勾配法(smOPG)の2段階的中央値外積を提案する。 大気汚染とゲノムデータへの応用は実用性を示し、理論は個々の局所回帰の選択一貫性を必要とせず、アクティブセットの回復を確立する。
  論文  参考訳（メタデータ） (2026-09-18T05:56:33Z)
• Supervised learning pays attention [42.97070083645048]
  注意を伴うコンテキスト内学習により、大きなニューラルネットワークは、関連する例に選択的にフォーカスすることで、コンテキスト固有の予測を行うことができる。 予測点ごとにパーソナライズされたモデルを柔軟に適合させる方法を示し,(2)モデルが簡潔さと解釈可能性を維持することを示す。 本手法は,注目度に応じてトレーニングデータを重み付けすることで,各試験観測の局所モデルに適合する。
  論文  参考訳（メタデータ） (2025-12-10T18:43:46Z)
• High-dimensional logistic regression with missing data: Imputation, regularization, and universality [7.167672851569787]
  我々は高次元リッジ規則化ロジスティック回帰について検討する。 予測誤差と推定誤差の両方を正確に評価する。
  論文  参考訳（メタデータ） (2024-10-01T21:41:21Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Random Forest Weighted Local Fréchet Regression with Random Objects [18.128663071848923]
  本稿では,新しいランダム森林重み付き局所Fr'echet回帰パラダイムを提案する。 最初の方法は、これらの重みを局所平均として、条件付きFr'echet平均を解くことである。 第二の手法は局所線形Fr'echet回帰を行い、どちらも既存のFr'echet回帰法を大幅に改善した。
  論文  参考訳（メタデータ） (2022-02-10T09:10:59Z)
• Estimation of population size based on capture recapture designs and evaluation of the estimation reliability [0.2810625954925814]
  本研究では,K試料の捕捉回収設計に基づく集団サイズ推定手法を提案する。 捕獲-回収モデルを特定するために一般的に想定される線形および非線形制約の解を提案する。 提案手法は,中国南西部の一地域からの多元的監視データを用いて寄生虫感染の有病率を推定するものである。
  論文  参考訳（メタデータ） (2021-05-12T00:12:13Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)
• Learning from Aggregate Observations [82.44304647051243]
  本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。 本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。 単純な極大解は様々な微分可能なモデルに適用できる。
  論文  参考訳（メタデータ） (2020-04-14T06:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。