論文の概要: Pooling Helps, Learned Weighting Hurts In-Context: Decomposing Group Attention

• arxiv url: http://arxiv.org/abs/2610.01831v1
• Date: Thu, 01 Oct 2026 15:05:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.213899
• Title: Pooling Helps, Learned Weighting Hurts In-Context: Decomposing Group Attention
• Title（参考訳）: Poolingヘルプ、Learred Weighting Hurts in-Context: Decomposing Group Attention
• Abstract要約: グループアテンションは時系列予測モデルChronos-2によって導入される。 我々は、そのメカニズムのどの部分が利益を得られるのかを問うとともに、MVとICLの両体制への適用性を探る。 異なるレイヤの影響を分離することにより、最初のブロックで$を均一にすることで、テストするすべてのICL構成が改善されることが分かります。
• 参考スコア（独自算出の注目度）: 3.7168625354988385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group attention, introduced by the time series forecasting model Chronos-2, attends over the variates of a group at a fixed patch index and serves both multivariate (MV) and in-context learning (ICL) forecasting. Rather than evaluating this cross-variate attention design as a whole, we ask which part of the mechanism earns the benefit and probe its applicability to both MV and ICL regimes. By editing the attention matrix $α$ at inference we separate the two pathways a head comprises: V/O, which projects a weighted summary of the group, and Q/K, which decides the weights. Uniform pooling (V/O without any Q/K weighting) is positive on 18 of our 20 sensor-network configurations, while the learned weighting (Q/K) splits by group type: its contribution is positive or negligible for MV, but materially degrades 8 of the 10 sensor-network ICL configurations, leaving 4 of them worse than univariate inference. By isolating the impact of different layers, we find that uniforming $α$ in the first block alone improves every ICL configuration we test.
• Abstract（参考訳）: 時系列予測モデルChronos-2が導入したグループアテンションは、固定パッチインデックスにおけるグループの変動に参画し、マルチ変数(MV)とインコンテキスト学習(ICL)の予測を行う。 この多変量アテンション設計を全体として評価するのではなく、そのメカニズムのどの部分が利益を得るのかを問うとともに、MVとICLの両体制への適用性について検討する。 推論でアテンション行列 $α$ を編集することにより、頭部の2つの経路を分離する: V/O と、重み付けを決定する Q/K である。 Q/K重み付けのない均一プール(V/O)は、20のセンサネットワーク構成のうち18の正であり、学習された重み付け(Q/K)はグループタイプによって分割される。 異なるレイヤの影響を分離することにより、最初のブロックで$α$を均一にすることで、テストするすべてのICL構成が改善されることが分かります。

関連論文リスト

• Mat-Pref: Verifiable-Reward Training Improves Compositional Reasoning in Inorganic Materials [2.102846336724103]
  Mat-Prefは、11の無機構造体ファミリーにわたる10,837のイオン置換質問のベンチマークである。 4つのゼロショットフロンティアモデルは、すべての分割において33-54%の範囲に留まっており、スケールだけでは、このタスク要求の合成化学的理由を解決していないことを確認している。
  論文  参考訳（メタデータ） (2026-06-20T01:46:41Z)
• Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。 標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。 トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
  論文  参考訳（メタデータ） (2026-04-14T09:48:46Z)
• IKKA: Inversion Classification via Critical Anomalies for Robust Visual Servoing [0.0]
  IKKA(Inversion Classification via critical Anomalies)は,分布シフト下でのロバストな視覚サーボのためのトポロジ的動機付けフレームワークである。 Raspberry Pi 4上のCPU専用の組み込みビジュアルサーボパイプラインでIKKAをインスタンス化し、230回の再現可能な実行を名目およびストレス条件下で評価する。
  論文  参考訳（メタデータ） (2026-04-09T20:37:27Z)
• Cluster-Adaptive Sample-Based Quantum Diagonalization for Strongly Correlated Systems [0.0]
  強い相関を持つ電子系は本質的に多重構成波動関数を示す。 量子コンピューティングは、これらの制限を緩和するための有望なルートとして登場した。 クラスタ適応型SQDを導入し、教師なし学習を用いてサンプルをクラスタ化する。
  論文  参考訳（メタデータ） (2026-03-10T08:24:08Z)
• Characterization of Residual Morphological Substructure Using Supervised and Unsupervised Deep Learning [0.8155389502563688]
  我々は、教師付き畳み込みニューラルネットワーク(CNN)と教師なし畳み込み変分オートエンコーダ(CvAE)を開発する。 「我々のユニークなデータ前処理アプローチを用いて、我々のDLネットワークへの入力が関心の銀河のみを構成するように残像を作成する。」 我々はPCA空間における制御CNN潜伏特性が$SPF$値と相関し,定性的に強い部分構造と弱い部分構造を区別することを発見した。
  論文  参考訳（メタデータ） (2026-02-21T16:08:25Z)
• Supervised Fine-Tuning or Contrastive Learning? Towards Better Multimodal LLM Reranking [56.46309219272326]
  大型言語モデル(LLM)では、教師付き微調整(SFT)による分類は、関連する(非関連)ペアに対して'yes' (resp. ''no')トークンを予測する。 この分散は中心的な疑問を提起する:どの目的がLLMベースのリランクに本質的に適しているか、どのメカニズムが違いの根底にあるのか? 我々はCLとSFTの総合的な比較と分析を行い、ユニバーサルマルチモーダル検索(UMR)を実験場とした。
  論文  参考訳（メタデータ） (2025-10-16T16:02:27Z)
• Comparison between neural network clustering, hierarchical clustering and k-means clustering: Applications using fluidic lenses [0.0]
  ニューラルネットワーククラスタリング(NNC)、階層クラスタリング(HC)、K平均クラスタリング(KMC)の比較を行う。 NNCでは、波面センサ再構成の収集に自己組織化マップ(SOM)トレーニングを適用した。 HCの場合、データは相似性連鎖行列の組み合わせで分割された。
  論文  参考訳（メタデータ） (2025-03-28T14:01:12Z)
• Self-Supervised Graph Embedding Clustering [70.36328717683297]
  K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。 本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T08:59:51Z)
• Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
  我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。 そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。 良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。 我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
  論文  参考訳（メタデータ） (2023-12-25T01:00:58Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。