論文の概要: Attention Function as an Intrinsic Inductive Bias: How Models' Behavior Diverges in Novel Contexts

• arxiv url: http://arxiv.org/abs/2609.39188v1
• Date: Wed, 30 Sep 2026 07:43:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.398844
• Title: Attention Function as an Intrinsic Inductive Bias: How Models' Behavior Diverges in Novel Contexts
• Title（参考訳）: 内在性誘導バイアスとしての注意機能 : 新しい文脈におけるモデル行動の多様性
• Abstract要約: 注意頭に与えられるアクティベーション関数が本質的な帰納バイアスとなるかどうかを問う。 訓練前にソフトマックスとシグモイドヘッドの比率を補正するマルチヘッドアテンションに対するパラメータフリーな修正を提案する。 以上の結果から, 活性化選択は, 効果を隠蔽し, アウト・オブ・ディストリビューションに再帰する前駆体として機能することが示唆された。
• 参考スコア（独自算出の注目度）: 0.18352113484137625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developmental psychology holds that certain priors are given to infants prior to experience rather than induced from data, and that the influence of such priors is suppressed under strong, well-constrained conditions but reasserts itself under weak ones. We ask whether an analogous principle holds for the Transformer: can the activation function given to attention heads serve as an intrinsic inductive bias? We propose Mixture of Function Attention (MoFA), a parameter-free modification to multi-head attention that fixes a ratio of softmax and sigmoid heads before training. Across five ratios, a 124M-parameter GPT-2 model, and five seeds, we find that this given ratio has little effect in-distribution -- differences between ratios are statistically negligible for moderate mixtures and remain small even at the extremes -- but its influence re-emerges sharply under zero-shot distribution shift across 15 out-of-distribution domains. Perplexity gaps between ratios widen by more than an order of magnitude on several domains, and the best-performing ratio tracks a single axis of domain structure, separating short, informal text (softmax-favoring) from technical, long-form text (sigmoid-favoring), that explains 78.3% of the variance in domain response. This reorganization is visible at the head level: sigmoid heads show an accelerating drop in attention entropy as their ratio increases, while softmax heads respond more modestly, yielding a consistent division of labor between the two head types. Our results suggest that activation choice functions as a given prior whose influence is masked in-distribution and re-emerges out-of-distribution.
• Abstract（参考訳）: 発達心理学は、データから誘導されるよりも経験より先に、ある種の先行が幼児に与えられること、そしてそのような先行の影響は、強い、よく制約された条件下で抑制されるが、それ自体は弱い条件下では抑制される、としている。 我々は、トランスフォーマーに類似の原理が成立するかどうかを問う: 注意頭へのアクティベーション関数は本質的な帰納バイアスとなるか? 訓練前にソフトマックスとシグモイドヘッドの比率を補正するマルチヘッドアテンションに対するパラメータフリーな修正であるMixture of Function Attention (MoFA)を提案する。 5 つの比、124M パラメータ GPT-2 モデル、および5 つの種子において、この与えられた比は分布にはほとんど影響がなく、その比の差は適度な混合では統計的に無視でき、極端でも小さいが、その影響は、分布外15 領域でゼロショット分布シフトの下で急激に再燃する。 複数のドメインで桁違いに広がる比率のパープレキシティギャップと、最高のパフォーマンス比はドメイン構造の単一の軸を追跡し、短い非公式テキスト(ソフトマックス・フェーリング)と技術的な長文(シグモイド・フェーリング)を分離し、ドメイン応答のばらつきの78.3%を説明する。 この再編成は頭部レベルで見られる:シグモイドヘッドは、その比率が増加するにつれて注意エントロピーが急速に低下し、ソフトマックスヘッドはより穏やかに反応し、2つのヘッドタイプの間に一貫した分業をもたらす。 以上の結果から, 活性化選択は, 効果を隠蔽し, アウト・オブ・ディストリビューションに再帰する前駆体として機能することが示唆された。

関連論文リスト

• From Concentration to Differentiation and Back: Routing Effective Rank in MoE Reasoning Cohorts [61.695980784491475]
  テストタイムスケーリングは、推論ロールアウトのコホートを生成するが、推論が展開するにつれて内部計算がどのように再編成されるかについて、標準的なラベルのない説明はない。 本稿では,MoEの専門家による類似性から構築したクロスロールアウトグラフのエントロピー有効次元性であるルーティング有効ランクデフを導入する。
  論文  参考訳（メタデータ） (2026-09-06T05:43:22Z)
• Predictable GRPO: A Closed-Form Model of Training Dynamics [1.0537323885285492]
  我々はこれらの力学の第一原理還元次モデルを開発する。 グループサイズは、ノイズ温度として、先行順に入力される。 3つのモデルと2つのグループサイズで、クローズドフォームの軌道はトレーニング報酬をR2 geq 0.91$に適合させる。
  論文  参考訳（メタデータ） (2026-06-29T18:19:09Z)
• State Rank Dynamics in Linear Attention LLMs [37.607046806053035]
  州の階級階層化は、線形アテンションヘッド間で異なるスペクトル分岐によって特徴づけられる。 低ランクの頭部はモデル推論に欠かせないが、高ランクの頭部は顕著な冗長性を示す。 我々は,KVキャッシュのオーバーヘッドを38.9%削減し,モデル精度を大きく維持するゼロショット戦略であるJoint Rank-Norm Pruningを提案する。
  論文  参考訳（メタデータ） (2026-02-02T15:00:42Z)
• Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
  長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。 CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
  論文  参考訳（メタデータ） (2026-01-06T16:26:40Z)
• Cauchy-Schwarz Fairness Regularizer [17.898277374771254]
  機械学習におけるグループフェアネスは、モデル予測とセンシティブな属性間の依存を減らす正規化子を追加することで強制されることが多い。 感性群に条件付けられた予測分布間の経験的CSのばらつきを罰するコーシー=シュワルツフェアネス正規化器を提案する。
  論文  参考訳（メタデータ） (2025-12-10T09:39:30Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• How Tempering Fixes Data Augmentation in Bayesian Neural Networks [22.188535244056016]
  テンパリングは、拡張のモデリングから生じる誤特定を暗黙的に減らし、すなわちデータとして示す。 温度は有効サンプルサイズの役割を模倣し、増強によって提供される情報の利得を反映している。
  論文  参考訳（メタデータ） (2022-05-27T11:06:56Z)
• Differentiable Subset Pruning of Transformer Heads [71.7904179689271]
  差別化可能なサブセットプルーニングと呼ぶ新しいヘッドプルーニング手法を導入する。 分割可能なサブセットプルーニングは,スパーシリティレベルを正確に制御しながら,従来の作業と同等あるいは良好に動作可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-10T13:08:34Z)
• Which Invariance Should We Transfer? A Causal Minimax Learning Approach [18.71316951734806]
  本稿では、因果的観点からの包括的ミニマックス分析について述べる。 最小の最悪のリスクを持つサブセットを探索する効率的なアルゴリズムを提案する。 本手法の有効性と有効性は, 合成データとアルツハイマー病の診断で実証された。
  論文  参考訳（メタデータ） (2021-07-05T09:07:29Z)
• Rethink Maximum Mean Discrepancy for Domain Adaptation [77.2560592127872]
  本論文は,(1)最大平均距離の最小化は,それぞれソースとクラス内距離の最大化に等しいが,その差を暗黙の重みと共同で最小化し,特徴判別性は低下する,という2つの本質的な事実を理論的に証明する。 いくつかのベンチマークデータセットの実験は、理論的な結果の有効性を証明しただけでなく、我々のアプローチが比較した最先端手法よりも大幅に向上できることを実証した。
  論文  参考訳（メタデータ） (2020-07-01T18:25:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。