論文の概要: A Study of Adaptive Modeling Towards Robust Generalization

• arxiv url: http://arxiv.org/abs/2602.02780v2
• Date: Thu, 05 Feb 2026 07:57:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 14:11:23.858096
• Title: A Study of Adaptive Modeling Towards Robust Generalization
• Title（参考訳）: ロバスト一般化に向けた適応モデリングに関する研究
• Authors: Zihao Jing, Qiuhao Zeng, Ruiyi Fang, Yan Yi Li, Yan Sun, Boyu Wang, Pingzhao Hu,
• Abstract要約: 我々は,構造トークンを適応的にスケーリングしながら,幾何学的情報に基づく言語推論を基盤とする,統一された全原子フレームワークを提案する。 様々な全原子のベンチマークにおいて、提案手法は不均一な構造的推論において一貫した利得をもたらす。
• 参考スコア（独自算出の注目度）: 14.00955228748485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) increasingly support reasoning over biomolecular structures, but most existing approaches remain modality-specific and rely on either sequence-style encodings or fixed-length connector tokens for structural inputs. These designs can under-expose explicit geometric cues and impose rigid fusion bottlenecks, leading to over-compression and poor token allocation as structural complexity grows. We present a unified all-atom framework that grounds language reasoning in geometric information while adaptively scaling structural tokens. The method first constructs variable-size structural patches on molecular graphs using an instruction-conditioned gating policy, enabling complexity-aware allocation of query tokens. It then refines the resulting patch tokens via cross-attention with modality embeddings and injects geometry-informed tokens into the language model to improve structure grounding and reduce structural hallucinations. Across diverse all-atom benchmarks, the proposed approach yields consistent gains in heterogeneous structure-grounded reasoning. An anonymized implementation is provided in the supplementary material.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、生体分子構造に対する推論をますますサポートしているが、既存のアプローチの多くはモダリティに特化しており、構造入力にはシーケンススタイルのエンコーディングか固定長のコネクタトークンに依存する。 これらの設計は、明示的な幾何学的手がかりを過小評価し、厳密な融合ボトルネックを課すことができ、構造的複雑性が増大するにつれて、過剰な圧縮と低いトークン割り当てをもたらす。 我々は,構造トークンを適応的にスケーリングしながら,幾何学的情報に基づく言語推論を基盤とする,統一された全原子フレームワークを提案する。 提案手法はまず,命令条件付きゲーティングポリシを用いて,分子グラフ上の可変サイズ構造パッチを構築し,クエリトークンの複雑性を考慮した割り当てを可能にする。 その後、モダリティ埋め込みによるクロスアテンションを通じて得られたパッチトークンを洗練し、ジオメトリインフォームされたトークンを言語モデルに注入し、構造的接地を改善し、構造的幻覚を低減する。 様々な全原子のベンチマークにおいて、提案手法は不均一な構造的推論において一貫した利得をもたらす。 補充材料に匿名化実装を提供する。

関連論文リスト

• Communication-Inspired Tokenization for Structured Image Representations [74.17163003465537]
  COMiT(Communication inspired Tokenization)は、構造化された視覚トークンシーケンスを学習するためのフレームワークである。 セマンティックアライメントが基盤となる一方で、解釈可能なオブジェクト中心のトークン構造を誘導するためには、注意的なシーケンシャルトークン化が重要であることを示す。
  論文  参考訳（メタデータ） (2026-02-24T09:53:50Z)
• Adaptive Protein Tokenization [0.0]
  既存のタンパク質構造トークン化剤は、周辺地域の情報をプールすることでトークンを作成する。 本稿では,タンパク質構造のグローバルなトークン化手法について述べる。 適応トークンが情報コンテンツに基づく推論基準をどのように実現し,設計可能性を高めるかを示す。
  論文  参考訳（メタデータ） (2026-02-06T06:15:14Z)
• <SOG_k>: One LLM Token for Explicit Graph Structural Understanding [57.017902343605364]
  我々は、グラフの構造を統一トークン空間内に完全に表現するために、1つの特別なトークン SOG_k> を組み込むことを提案する。 SOG_k>は、簡潔で正確な方法でLLMに理解、生成、理性を与える。
  論文  参考訳（メタデータ） (2026-02-02T07:55:09Z)
• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• From Context to EDUs: Faithful and Structured Context Compression via Elementary Discourse Unit Decomposition [46.36937947958481]
  グローバルな構造と細かな詳細の両方を保存するために設計された,新しい明示的圧縮フレームワークを提案する。 提案手法は,構造的コンテキスト圧縮を構造的テーマ選択プロセスとして再構成する。 提案手法は,最先端構造予測精度を実現し,フロンティアLLMを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-16T09:52:58Z)
• From Static Structures to Ensembles: Studying and Harnessing Protein Structure Tokenization [15.864659611818661]
  タンパク質構造トークン化は、3D構造を離散的あるいはベクトル化された表現に変換する。 構造トークン化に関する最近の多くの研究にもかかわらず、基礎となる離散表現の性質はよく理解されていない。 構造予測のための言語モデルにおける構造トークンの有効利用は、リッチで訓練済みのシーケンス埋め込みを使うことに依存していることを示す。
  論文  参考訳（メタデータ） (2025-11-13T07:58:24Z)
• Structure-R1: Dynamically Leveraging Structural Knowledge in LLM Reasoning through Reinforcement Learning [29.722512436773638]
  本稿では,検索したコンテンツを推論に最適化した構造化表現に変換するフレームワークであるtextscStructure-R1を提案する。 textscStructure-R1は、7Bスケールのバックボーンモデルとの競合性能を一貫して達成していることを示す。 我々の理論的分析は,情報密度と文脈的明瞭度を向上させることによって,構造化表現が推論をいかに促進するかを示す。
  論文  参考訳（メタデータ） (2025-10-16T23:19:28Z)
• A Hierarchical Quantized Tokenization Framework for Task-Adaptive Graph Representation Learning [8.608851021844576]
  この研究は、複数のスケールにわたるタスク適応アグリゲーションのための自己重み付け機構を導入する階層的な量子化フレームワークを提案する。 ノード分類とリンク予測のためのベンチマークデータセットの実験では、同等の計算予算の下で、強いベースラインよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2025-10-14T10:36:43Z)
• ReSSFormer: A Recursive Sparse Structured Transformer for Scalable and Long-Context Reasoning [0.0]
  本稿では,ReSSFormerについて述べる。Recursive Sparse Structured Transformerは3つの相補的なイノベーションを統合している。 ReSSFormerは、従来のディープスタックをリカレント推論に置き換え、トークンレベルのスペーサと専門家レベルのスペーサに置き換え、コンテンツから直接潜在トークントポロジをモデル化する。
  論文  参考訳（メタデータ） (2025-10-02T02:05:30Z)
• Contextually Structured Token Dependency Encoding for Large Language Models [0.0]
  自己注意機構は動的文脈依存を捉えるが、学習した重み分布への依存は、生成配列における長距離階層構造の保存を制限する。 依存性を意識したトークンエンコーディングでは,トークン表現内にリレーショナル制約を埋め込むという,構造化されたアプローチが導入されている。 経験的評価は、多種多様な言語ベンチマークにおけるパープレキシティの低下を示し、自己回帰テキスト生成における文脈的一貫性と予測一貫性の改善を示唆している。
  論文  参考訳（メタデータ） (2025-01-30T08:51:48Z)
• CBGBench: Fill in the Blank of Protein-Molecule Complex Binding Graph [66.11279161533619]
  CBGBenchは構造ベースドラッグデザイン(SBDD)のベンチマークである 既存のメソッドを属性に基づいて分類することで、CBGBenchは様々な最先端メソッドを実装している。 我々は,これらのモデルを薬物設計に不可欠なタスクに適応させてきた。
  論文  参考訳（メタデータ） (2024-06-16T08:20:24Z)
• Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings [60.698130703909804]
  トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。 本稿では,SQ-Transformerを提案する。 SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
  論文  参考訳（メタデータ） (2024-02-09T15:53:15Z)
• FoldToken: Learning Protein Language via Vector Quantization and Beyond [56.19308144551836]
  タンパク質配列構造を離散シンボルとして表現するために textbfFoldTokenizer を導入する。 学習したシンボルを textbfFoldToken と呼び、FoldToken の配列が新しいタンパク質言語として機能する。
  論文  参考訳（メタデータ） (2024-02-04T12:18:51Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部の動作や推論メカニズムを理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがCFG定義階層を正確に学習し、推論し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。