論文の概要: Beyond Tokens: Probing Higher-Order Epistasis in Learned Protein Representations
- arxiv url: http://arxiv.org/abs/2608.24953v1
- Date: Mon, 24 Aug 2026 23:35:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.290192
- Title: Beyond Tokens: Probing Higher-Order Epistasis in Learned Protein Representations
- Title（参考訳）: 学習したタンパク質の表現における高次エピスタシスの探索
- Abstract要約: ORBITは、相互作用の存在、表現のアクセシビリティ、機能回復を分離する相互作用変換フレームワークである。
我々は、リッジ回帰、標準の独立トークン、非線形独立トークン、残留相互作用トークン化(RIT)を比較した。
RITは、トークン段階でのペアワイズアクセシビリティを、双方の独立した制御と比較して著しく向上させた。
- 参考スコア（独自算出の注目度）: 3.1035948531044912
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Protein fitness landscapes contain nonlinear interactions in which mutation effects depend on other residues. We introduce ORBIT, an Order-Resolved Benchmarking of Interaction Transformations framework that separates interaction presence, representation accessibility, and functional recovery. ORBIT first validates Walsh-based diagnostics on synthetic landscapes with known interaction order, then analyzes the experimentally measured GB1 fitness landscape under the FLIP 2-vs-rest setting. We compare ridge regression, a standard MLP, independent tokens, nonlinear independent tokens, and Residual Interaction Tokenization (RIT). Across 20 paired training seeds, the primary two-hidden-layer comparison found no significant architecture differences in FLIP test R^2, third- or fourth-order functional recovery, or final-layer third- or fourth-order accessibility. However, RIT significantly increased pairwise accessibility at the token stage relative to both independent-token controls (Delta A_tok,2 = 0.2468, d_z = 1.67, Holm-adjusted p = 1.14 x 10^-5), without a detectable downstream higher-order advantage. A pre-specified depth/capacity analysis showed that deeper MLPs improved FLIP prediction, third-order functional recovery, and final-layer third-order accessibility; fourth-order accessibility also improved relative to the shallow MLP but remained below zero in absolute held-out R^2. ORBIT therefore reveals representation-level changes hidden by conventional prediction metrics and distinguishes early interaction-aware encoding from higher-order structure constructed by downstream nonlinear capacity.
- Abstract（参考訳）: タンパク質適合性ランドスケープは、突然変異効果が他の残基に依存する非線形相互作用を含む。
ORBITは、相互作用の存在、表現のアクセシビリティ、機能回復を分離する相互作用変換フレームワークである。
ORBITは、Walshに基づく合成景観の診断を既知の相互作用順序で検証し、実験によって測定されたGB1フィットネスランドスケープをFLIP 2-vs-rest設定下で解析する。
我々は、リッジ回帰、標準MLP、独立トークン、非線形独立トークン、Residual Interaction Tokenization(RIT)を比較した。
20対の訓練種子では, FLIP試験R^2, 3次または4次機能回復, 最終層および4次アクセシビリティに有意な構造的差異は認められなかった。
しかし、RITは2つの独立した制御(Delta A_tok,2 = 0.2468, d_z = 1.67, Holm-adjusted p = 1.14 x 10^-5)に対して、検出可能な下流高次優位性を持たずにトークン段階でペアワイズアクセシビリティを著しく向上させた。
予備仕様深度/容量分析の結果,深部MLPはFLIP予測, 3次機能回復, 最終層3次アクセシビリティを向上し, 4次アクセシビリティも浅部MLPと比較して改善したが, 絶対保持率R^2では0以下にとどまった。
したがって、ORBITは従来の予測指標によって隠された表現レベルの変化を明らかにし、下流の非線形キャパシティによって構築された高次構造と初期相互作用認識符号化を区別する。
関連論文リスト
- One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。
トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。
OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
論文 参考訳（メタデータ） (2026-09-06T08:32:59Z) - ProCA: Progressive Contrastive Alignment for Robust EEG Visual Decoding [47.35612571473169]
EEGビジュアルデコーディングは、非侵襲的な神経時系列信号から視覚的セマンティクスを回復することを目的としている。
既存の手法は固定された視覚的あるいはテキスト的アンカーに依存しており、その意味的関係は、試行錯誤、主題、学習段階によって異なる脳波表現と一致している可能性がある。
本稿では,適応型ニューラル・セマンティックアライメントのための統一的でモデルに依存しないフレームワークであるProgressive Contrastive Alignment(ProCA)を提案する。
論文 参考訳（メタデータ） (2026-09-04T12:48:25Z) - TESTNAV: Pareto-Guided Search for Compositional Robustness Testing [42.86570387250456]
TESTNAVは、ディープラーニングモデルのための双方向の堅牢性テストフレームワークである。
モダリティ比の指標によって測定された入力忠実度を保ちながら、性能劣化を最大化する。
論文 参考訳（メタデータ） (2026-08-20T10:43:22Z) - Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。
WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。
安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
論文 参考訳（メタデータ） (2026-08-18T09:32:03Z) - Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。
生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。
現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文 参考訳（メタデータ） (2026-08-17T09:53:27Z) - Relevant and Irrelevant: A Renormalization Group Analysis of Transformer Attention [16.36212521143563]
我々はトランスフォーマーの注意機構をトレーニング済み残差固定点の摂動として扱う。
測定可能な予測は、固定点幾何、有効ランクプロファイル、層特異性、摂動減衰スペクトルに対して行われる。
論文 参考訳（メタデータ） (2026-07-16T20:42:02Z) - Attention Degradation, Function Token Anchoring, and the Limits of Attention-Based Intervention in Large Language Models [0.0]
GPT-2, LLaMA-3.2-1B/3B, OPT-1.3B, distilgpt2の6つの協調実験を行った。
まず,短期(5-100トークン)の注意低下を特徴付ける。
注意力の低下は規範的というよりはむしろ典型的であると結論付けている。
論文 参考訳（メタデータ） (2026-07-09T07:04:07Z) - Graph Diffusion Residuals for Control-Function Instrumental Variables [82.39671985893028]
高容量の第1段階は治療を補間し、結果方程式の残余情報はほとんど残らない。
フレキシブル制御機能のための決定論的グラフ拡散残差抽出器であるAdaptive Anisotropic Instrumental Heat Flow (A-IHF) について検討した。
A-IHFは、処理を第一段階の特徴のグラフ上の信号として扱い、パイロット拡散を用いて大きな処理ジャンプを検出し、それらのジャンプのコンダクタンスを減衰させ、スパースグラフ分解剤で生成された制御を計算する。
論文 参考訳（メタデータ） (2026-06-12T17:02:53Z) - When Eyes Betray AI: Social Gaze Consistency as a Semantic Cue for AI-Generated Image Detection [12.446807294893638]
本稿では,視線方向の相互コヒーレンス,頭部アライメント,対人関係の瞳孔配置として定義された高レベルの意味的キューであるソーシャル・ゲイズ・コンシステンシーを紹介する。
既存の低レベルパラダイムに対して,これまで未利用であった検出軸を構成することを示す。
4ステップのアカウントでは、単一インパインター(FLUX.1-Fill)のトレーニングがマルチジェネレータスイートに移行した理由が説明されている。
論文 参考訳（メタデータ） (2026-05-26T17:50:17Z) - Auxiliary Finite-Difference Residual-Gradient Regularization for PINNs [0.0]
本研究では,PDE残差が保たれるハイブリッド設計について検討するが,有限差分は弱い補助項にのみ現れる。
FD項は、PDE残基自体を置き換えることなく残留体を正則化する。
種子0-5と100kのエポック全体で、最も信頼性の高い試験はクルコウタス・ベタ政権下での固定殻重量5e-4である。
論文 参考訳（メタデータ） (2026-04-15T23:09:19Z) - Linear Differential Vision Transformer: Learning Visual Contrasts via Pairwise Differentials [34.77694214755808]
MHSA(Multi-Head Self-Attention)の代替品であるVCA(Visual-Contrast Attention)を導入する。
VCAは、O(N N C) から O(N n C) への理論複雑性を n N で減少させながら、識別の明示的な概念を注入する。
モジュールはDeiT-Tinyのバックボーンに0.3M以下のパラメータを追加し、追加のFLOPを必要とせず、完全にアーキテクチャに依存しない。
論文 参考訳（メタデータ） (2025-11-02T07:04:12Z) - Pearl: A Foundation Model for Placing Every Atom in the Right Location [52.35027831422145]
タンパク質-リガンド共フォールディングの基礎モデルであるPearlを紹介した。
パールはタンパク質-リガンド結合における新しい最先端性能を確立している。
Pearlは、パブリックなRuns N' PosesとPoseBustersベンチマークでAlphaFold 3や他のオープンソースベースラインを上回っている。
論文 参考訳（メタデータ） (2025-10-28T17:36:51Z) - Contrastive Conditional Neural Processes [45.70735205041254]
条件付きニューラル・プロセス(CNP)は、メタラーニング環境下でのプロセスの機能に近い確率的推論でニューラルネットワークをブリッジする。
2つの補助的コントラスト分岐が階層的に設定される。すなわち、インストラクテーション時間的コントラスト学習(tt TCL)とクロスストラクテーション関数コントラスト学習(tt FCL)である。
実験により、tt TCLは観測の高レベルの抽象化を捉えるのに対し、tt FCLは基底関数の同定に役立ち、より効率的な表現を提供することを示す。
論文 参考訳（メタデータ） (2022-03-08T10:08:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。