論文の概要: Structure is not mechanism: high-gain gated-FFN rows across text and genomic foundation models

• arxiv url: http://arxiv.org/abs/2609.17599v1
• Date: Sun, 13 Sep 2026 02:22:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.45193
• Title: Structure is not mechanism: high-gain gated-FFN rows across text and genomic foundation models
• Title（参考訳）: 構造はメカニズムではない:テキストとゲノム基盤モデルにまたがる高ゲインゲート-FFN列
• Abstract要約: テキストおよびゲノム基盤モデルを用いたフィードフォワードネットワークにおける高利得列の解析を行った。 その結果,高利得ゲート-FFN列は構造的優位性が富化信号として機能する再帰的アーキテクチャ表現型であることが判明した。
• 参考スコア（独自算出の注目度）: 41.99844472131922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A small number of unusually high-gain parameters can exert disproportionate effects in transformer language models, but whether analogous structures recur in genomic foundation models and whether structural geometry determines functional importance remains unknown. We analyzed high-gain rows in gated feed-forward networks across text and genomic foundation models, including a frozen 22-model causal census. Computing an associated bilinear weight operator exactly, without a diagonal approximation, we tested whether structural extremeness is a transferable mechanism. Activation-derived candidates were functionally enriched relative to random and top-norm same-layer controls, yet neither spectral concentration nor operator magnitude predicted causal effect size, and these associations vanished within the endpoint-homogeneous text-decoder subset. A within-layer sweep of 36 rows in one genomic and one text decoder resolved this into two regimes: below the detector's acceptance threshold the ratio carried no positive information about causal damage, whereas above it the ratio ordered rows strongly but did not grade severity as a dose-response. The same sweep revealed a second individually catastrophic row invisible to a one-candidate-per-model census, and non-additive damage among co-located critical rows. Case studies showed divergent causal organizations: a robust super-additive pair interaction in DNABERT-2, and in GENERator a sharply position-localized dependence in which preserving or restoring the row's beginning-of-sequence contribution rescued essentially all native-loss damage. High-gain gated-FFN rows are therefore a recurrent architectural phenotype whose structural prominence acts as an enrichment signal, not a calibrated measure of functional criticality or a specification of causal organization. Enrichment is general, but the mechanism is model-specific.
• Abstract（参考訳）: トランスフォーマー言語モデルでは少数の異常な高利得パラメータが不均等に作用するが、類似構造がゲノム基盤モデルで再帰するかどうか、構造幾何学が機能的重要性を決定するかどうかは不明である。 凍結した22モデル因果調査を含む,テキストおよびゲノム基盤モデルにまたがるゲートフィードフォワードネットワークにおける高利得列を解析した。 対角近似を使わずに、関連する双線型重み演算子を正確に計算し、構造的極性が伝達可能な機構であるかどうかを検証した。 アクティベーション由来の候補は、ランダムおよびトップノームの同層制御に対して機能的に富んだが、スペクトル濃度も演算子の大きさも因果効果を予測せず、これらの関連は終端均一なテキストデコーダのサブセットで消滅した。 1つのゲノムと1つのテキストデコーダで36行の層内を網羅し、これを2つの状態に分解した:検出器の受入閾値以下では、この比は因果損傷に関する正の情報は持たなかったが、上述の比率は強いが、線量応答として重大度を評価できなかった。 同じ調査では、モデルごとの1件あたり1件の国勢調査で見えない2件目の破滅的列が明らかとなり、共同配置された臨界列の非付加的な損傷がみられた。 ケーススタディでは、DNABERT-2における堅牢な超付加的な対の相互作用、およびジェネレーターでは、行の始まりへの貢献を保存または復元する急激な位置局在依存が、本質的にすべてのネイティブロス損傷を救った。 したがって、高利得ゲート-FFN列は、機能的臨界度の校正尺度や因果組織仕様ではなく、構造的優位性がエンリッチメント信号として機能する反復的なアーキテクチャ表現型である。 濃縮は一般的だが、メカニズムはモデル固有である。

関連論文リスト

• Structural Negative Transfer in Federated Graph Neural Networks: Diagnosis, Causal Investigation, and the Limits of Divergence-Aware Mitigation [0.0]
  フェデレーション平均化(Federated Averaging)は、参加者のデータが広範囲に類似している場合、ローカルモデルの平均化が1つの共有問題を解決する合理的な方法であると仮定する。 グラフニューラルネットワークでは,ラベルや特徴分布ではなく,構造自体でクライアントグラフが異なる。
  論文  参考訳（メタデータ） (2026-09-15T10:53:31Z)
• Adversarial Robustness in Smishing Detection: A Comparative Analysis of Adversarial Fragility in Classical vs. Transformer-Based Detection Systems [0.0]
  スマイシング検出システムは、クリーンでモノリンガルなテキストで一般的に訓練され、評価される。 本研究では,27,037メッセージのデータセットを用いて,5つのモデルアーキテクチャの対角的ロバスト性を評価する。
  論文  参考訳（メタデータ） (2026-08-13T07:12:13Z)
• Noise & pattern: identity-anchored Tikhonov regularization for robust structural anomaly detection [58.535473924035365]
  異常検出は自動産業検査において重要な役割を担い、他の均一な視覚パターンの微妙な欠陥や稀な欠陥を識別することを目的としている。 自己教師型オートエンコーダを用いて, 破損した入力の修復を学習する構造的異常検出に取り組む。 構造欠陥を模倣した画像に人工的破壊を注入する汚職モデルを導入する。
  論文  参考訳（メタデータ） (2025-11-10T15:48:50Z)
• Unlasting: Unpaired Single-Cell Multi-Perturbation Estimation by Dual Conditional Diffusion Implicit Bridges [68.98973318553983]
  本稿では,Dual Diffusion Implicit Bridges (DDIB) に基づくフレームワークを提案する。 我々は、生物学的に意味のある方法で摂動シグナルを伝達するために遺伝子制御ネットワーク(GRN)情報を統合する。 また、サイレント遺伝子を予測し、生成したプロファイルの品質を向上させるためのマスキング機構も組み込んだ。
  論文  参考訳（メタデータ） (2025-06-26T09:05:38Z)
• Understanding Robust Overfitting from the Feature Generalization Perspective [61.770805867606796]
  逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。 これはロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。 本稿では,新しい特徴一般化の観点からROを考察する。
  論文  参考訳（メタデータ） (2023-10-01T07:57:03Z)
• Topology-Aware Uncertainty for Image Segmentation [19.248891926246383]
  このようなタスクに対する不確実性の推定に重点を置いているので、人間のアノテータが検証できるように、非常に不確実でエラーを起こしやすい構造を特定できる。 本稿では,隣接する構造物を考慮に入れながら構造物の不確かさを推定する共同予測モデルを提案する。 また,各構造に固有の不確かさをモデル化する新しい確率的DMTを提案する。
  論文  参考訳（メタデータ） (2023-06-09T05:01:55Z)
• Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
  本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。 提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
  論文  参考訳（メタデータ） (2021-11-25T05:51:03Z)
• Sparse representation for damage identification of structural systems [11.397437423613418]
  モデル更新とスパース損傷識別のための2段階感度解析に基づく新しいフレームワークを提案する。 次に、準$ell法上に構築されたスパース表現パイプラインを、損傷と局所化定量化のために提示する。 提案手法は, 構造損傷の局所化と定量化の両方を高精度に行うことができることを示す。
  論文  参考訳（メタデータ） (2020-06-06T18:04:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。