論文の概要: A Study of Adaptive Modeling Towards Robust Generalization

• arxiv url: http://arxiv.org/abs/2602.02780v2
• Date: Thu, 05 Feb 2026 07:57:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 14:11:23.858096
• Title: A Study of Adaptive Modeling Towards Robust Generalization
• Title（参考訳）: ロバスト一般化に向けた適応モデリングに関する研究
• Authors: Zihao Jing, Qiuhao Zeng, Ruiyi Fang, Yan Yi Li, Yan Sun, Boyu Wang, Pingzhao Hu,
• Abstract要約: 我々は,構造トークンを適応的にスケーリングしながら,幾何学的情報に基づく言語推論を基盤とする,統一された全原子フレームワークを提案する。 様々な全原子のベンチマークにおいて、提案手法は不均一な構造的推論において一貫した利得をもたらす。
• 参考スコア（独自算出の注目度）: 14.00955228748485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) increasingly support reasoning over biomolecular structures, but most existing approaches remain modality-specific and rely on either sequence-style encodings or fixed-length connector tokens for structural inputs. These designs can under-expose explicit geometric cues and impose rigid fusion bottlenecks, leading to over-compression and poor token allocation as structural complexity grows. We present a unified all-atom framework that grounds language reasoning in geometric information while adaptively scaling structural tokens. The method first constructs variable-size structural patches on molecular graphs using an instruction-conditioned gating policy, enabling complexity-aware allocation of query tokens. It then refines the resulting patch tokens via cross-attention with modality embeddings and injects geometry-informed tokens into the language model to improve structure grounding and reduce structural hallucinations. Across diverse all-atom benchmarks, the proposed approach yields consistent gains in heterogeneous structure-grounded reasoning. An anonymized implementation is provided in the supplementary material.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、生体分子構造に対する推論をますますサポートしているが、既存のアプローチの多くはモダリティに特化しており、構造入力にはシーケンススタイルのエンコーディングか固定長のコネクタトークンに依存する。 これらの設計は、明示的な幾何学的手がかりを過小評価し、厳密な融合ボトルネックを課すことができ、構造的複雑性が増大するにつれて、過剰な圧縮と低いトークン割り当てをもたらす。 我々は,構造トークンを適応的にスケーリングしながら,幾何学的情報に基づく言語推論を基盤とする,統一された全原子フレームワークを提案する。 提案手法はまず,命令条件付きゲーティングポリシを用いて,分子グラフ上の可変サイズ構造パッチを構築し,クエリトークンの複雑性を考慮した割り当てを可能にする。 その後、モダリティ埋め込みによるクロスアテンションを通じて得られたパッチトークンを洗練し、ジオメトリインフォームされたトークンを言語モデルに注入し、構造的接地を改善し、構造的幻覚を低減する。 様々な全原子のベンチマークにおいて、提案手法は不均一な構造的推論において一貫した利得をもたらす。 補充材料に匿名化実装を提供する。

関連論文リスト

• <SOG_k>: One LLM Token for Explicit Graph Structural Understanding [57.017902343605364]
  我々は、グラフの構造を統一トークン空間内に完全に表現するために、1つの特別なトークン SOG_k> を組み込むことを提案する。 SOG_k>は、簡潔で正確な方法でLLMに理解、生成、理性を与える。
  論文  参考訳（メタデータ） (2026-02-02T07:55:09Z)
• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• From Context to EDUs: Faithful and Structured Context Compression via Elementary Discourse Unit Decomposition [46.36937947958481]
  グローバルな構造と細かな詳細の両方を保存するために設計された,新しい明示的圧縮フレームワークを提案する。 提案手法は,構造的コンテキスト圧縮を構造的テーマ選択プロセスとして再構成する。 提案手法は,最先端構造予測精度を実現し,フロンティアLLMを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-16T09:52:58Z)
• From Static Structures to Ensembles: Studying and Harnessing Protein Structure Tokenization [15.864659611818661]
  タンパク質構造トークン化は、3D構造を離散的あるいはベクトル化された表現に変換する。 構造トークン化に関する最近の多くの研究にもかかわらず、基礎となる離散表現の性質はよく理解されていない。 構造予測のための言語モデルにおける構造トークンの有効利用は、リッチで訓練済みのシーケンス埋め込みを使うことに依存していることを示す。
  論文  参考訳（メタデータ） (2025-11-13T07:58:24Z)
• Structure-R1: Dynamically Leveraging Structural Knowledge in LLM Reasoning through Reinforcement Learning [29.722512436773638]
  本稿では,検索したコンテンツを推論に最適化した構造化表現に変換するフレームワークであるtextscStructure-R1を提案する。 textscStructure-R1は、7Bスケールのバックボーンモデルとの競合性能を一貫して達成していることを示す。 我々の理論的分析は,情報密度と文脈的明瞭度を向上させることによって,構造化表現が推論をいかに促進するかを示す。
  論文  参考訳（メタデータ） (2025-10-16T23:19:28Z)
• A Hierarchical Quantized Tokenization Framework for Task-Adaptive Graph Representation Learning [8.608851021844576]
  この研究は、複数のスケールにわたるタスク適応アグリゲーションのための自己重み付け機構を導入する階層的な量子化フレームワークを提案する。 ノード分類とリンク予測のためのベンチマークデータセットの実験では、同等の計算予算の下で、強いベースラインよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2025-10-14T10:36:43Z)
• ReSSFormer: A Recursive Sparse Structured Transformer for Scalable and Long-Context Reasoning [0.0]
  本稿では,ReSSFormerについて述べる。Recursive Sparse Structured Transformerは3つの相補的なイノベーションを統合している。 ReSSFormerは、従来のディープスタックをリカレント推論に置き換え、トークンレベルのスペーサと専門家レベルのスペーサに置き換え、コンテンツから直接潜在トークントポロジをモデル化する。
  論文  参考訳（メタデータ） (2025-10-02T02:05:30Z)
• Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings [60.698130703909804]
  トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。 本稿では,SQ-Transformerを提案する。 SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
  論文  参考訳（メタデータ） (2024-02-09T15:53:15Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。