論文の概要: Scaling-Aware Adapter for Structure-Grounded LLM Reasoning

• arxiv url: http://arxiv.org/abs/2602.02780v1
• Date: Mon, 02 Feb 2026 20:35:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.073515
• Title: Scaling-Aware Adapter for Structure-Grounded LLM Reasoning
• Title（参考訳）: 構造型LDM共振器用スケーリングアウェアアダプタ
• Authors: Zihao Jing, Qiuhao Zeng, Ruiyi Fang, Yan Yi Li, Yan Sun, Boyu Wang, Pingzhao Hu,
• Abstract要約: 構造的複雑度でモダリティトークンをスケーリングしながら、幾何学的キューで言語推論を基礎とする、統一された全原子LPMであるCuttlefishを紹介した。 多様な全原子ベンチマークによる実験により、Cuttlefishは不均一な構造的推論において優れた性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 14.00955228748485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are enabling reasoning over biomolecular structures, yet existing methods remain modality-specific and typically compress structural inputs through sequence-based tokenization or fixed-length query connectors. Such architectures either omit the geometric groundings requisite for mitigating structural hallucinations or impose inflexible modality fusion bottlenecks that concurrently over-compress and suboptimally allocate structural tokens, thereby impeding the realization of generalized all-atom reasoning. We introduce Cuttlefish, a unified all-atom LLM that grounds language reasoning in geometric cues while scaling modality tokens with structural complexity. First, Scaling-Aware Patching leverages an instruction-conditioned gating mechanism to generate variable-size patches over structural graphs, adaptively scaling the query token budget with structural complexity to mitigate fixed-length connector bottlenecks. Second, Geometry Grounding Adapter refines these adaptive tokens via cross-attention to modality embeddings and injects the resulting modality tokens into the LLM, exposing explicit geometric cues to reduce structural hallucination. Experiments across diverse all-atom benchmarks demonstrate that Cuttlefish achieves superior performance in heterogeneous structure-grounded reasoning. Code is available at the project repository.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、生体分子構造に対する推論を可能にするが、既存の手法はモダリティに特化しており、典型的にはシーケンスベースのトークン化や固定長クエリコネクタを通じて構造入力を圧縮する。 このようなアーキテクチャは、構造的幻覚を緩和するために必要となる幾何学的基底を省略するか、あるいは構造的トークンを同時に過度に圧縮し、過度に割り当てる非フレキシブルなモダリティ融合ボトルネックを課すことによって、一般化された全原子推論の実現を妨げる。 構造的複雑度でモダリティトークンをスケーリングしながら、幾何学的キューで言語推論を基礎とする、統一された全原子LPMであるCuttlefishを紹介した。 まず、Scaling-Aware Patchingは命令条件付きゲーティング機構を利用して、構造グラフ上の可変サイズのパッチを生成し、クエリトークンの予算を構造的な複雑さで適応的にスケーリングすることで、固定長コネクタのボトルネックを軽減する。 第二に、幾何グラウンドリングアダプタは、これらの適応トークンを、モダリティ埋め込みへのクロスアテンションを通じて洗練し、結果として生じるモダリティトークンをLSMに注入し、構造的幻覚を減らすために明示的な幾何学的手がかりを明らかにする。 多様な全原子ベンチマークによる実験により、Cuttlefishは不均一な構造的推論において優れた性能を発揮することが示された。 コードはプロジェクトリポジトリから入手可能だ。

関連論文リスト

• Communication-Inspired Tokenization for Structured Image Representations [74.17163003465537]
  COMiT(Communication inspired Tokenization)は、構造化された視覚トークンシーケンスを学習するためのフレームワークである。 セマンティックアライメントが基盤となる一方で、解釈可能なオブジェクト中心のトークン構造を誘導するためには、注意的なシーケンシャルトークン化が重要であることを示す。
  論文  参考訳（メタデータ） (2026-02-24T09:53:50Z)
• Adaptive Protein Tokenization [0.0]
  既存のタンパク質構造トークン化剤は、周辺地域の情報をプールすることでトークンを作成する。 本稿では,タンパク質構造のグローバルなトークン化手法について述べる。 適応トークンが情報コンテンツに基づく推論基準をどのように実現し,設計可能性を高めるかを示す。
  論文  参考訳（メタデータ） (2026-02-06T06:15:14Z)
• <SOG_k>: One LLM Token for Explicit Graph Structural Understanding [57.017902343605364]
  我々は、グラフの構造を統一トークン空間内に完全に表現するために、1つの特別なトークン SOG_k> を組み込むことを提案する。 SOG_k>は、簡潔で正確な方法でLLMに理解、生成、理性を与える。
  論文  参考訳（メタデータ） (2026-02-02T07:55:09Z)
• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• From Context to EDUs: Faithful and Structured Context Compression via Elementary Discourse Unit Decomposition [46.36937947958481]
  グローバルな構造と細かな詳細の両方を保存するために設計された,新しい明示的圧縮フレームワークを提案する。 提案手法は,構造的コンテキスト圧縮を構造的テーマ選択プロセスとして再構成する。 提案手法は,最先端構造予測精度を実現し,フロンティアLLMを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-16T09:52:58Z)
• From Static Structures to Ensembles: Studying and Harnessing Protein Structure Tokenization [15.864659611818661]
  タンパク質構造トークン化は、3D構造を離散的あるいはベクトル化された表現に変換する。 構造トークン化に関する最近の多くの研究にもかかわらず、基礎となる離散表現の性質はよく理解されていない。 構造予測のための言語モデルにおける構造トークンの有効利用は、リッチで訓練済みのシーケンス埋め込みを使うことに依存していることを示す。
  論文  参考訳（メタデータ） (2025-11-13T07:58:24Z)
• Structure-R1: Dynamically Leveraging Structural Knowledge in LLM Reasoning through Reinforcement Learning [29.722512436773638]
  本稿では,検索したコンテンツを推論に最適化した構造化表現に変換するフレームワークであるtextscStructure-R1を提案する。 textscStructure-R1は、7Bスケールのバックボーンモデルとの競合性能を一貫して達成していることを示す。 我々の理論的分析は,情報密度と文脈的明瞭度を向上させることによって,構造化表現が推論をいかに促進するかを示す。
  論文  参考訳（メタデータ） (2025-10-16T23:19:28Z)
• A Hierarchical Quantized Tokenization Framework for Task-Adaptive Graph Representation Learning [8.608851021844576]
  この研究は、複数のスケールにわたるタスク適応アグリゲーションのための自己重み付け機構を導入する階層的な量子化フレームワークを提案する。 ノード分類とリンク予測のためのベンチマークデータセットの実験では、同等の計算予算の下で、強いベースラインよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2025-10-14T10:36:43Z)
• ReSSFormer: A Recursive Sparse Structured Transformer for Scalable and Long-Context Reasoning [0.0]
  本稿では,ReSSFormerについて述べる。Recursive Sparse Structured Transformerは3つの相補的なイノベーションを統合している。 ReSSFormerは、従来のディープスタックをリカレント推論に置き換え、トークンレベルのスペーサと専門家レベルのスペーサに置き換え、コンテンツから直接潜在トークントポロジをモデル化する。
  論文  参考訳（メタデータ） (2025-10-02T02:05:30Z)
• Contextually Structured Token Dependency Encoding for Large Language Models [0.0]
  自己注意機構は動的文脈依存を捉えるが、学習した重み分布への依存は、生成配列における長距離階層構造の保存を制限する。 依存性を意識したトークンエンコーディングでは,トークン表現内にリレーショナル制約を埋め込むという,構造化されたアプローチが導入されている。 経験的評価は、多種多様な言語ベンチマークにおけるパープレキシティの低下を示し、自己回帰テキスト生成における文脈的一貫性と予測一貫性の改善を示唆している。
  論文  参考訳（メタデータ） (2025-01-30T08:51:48Z)
• CBGBench: Fill in the Blank of Protein-Molecule Complex Binding Graph [66.11279161533619]
  CBGBenchは構造ベースドラッグデザイン(SBDD)のベンチマークである 既存のメソッドを属性に基づいて分類することで、CBGBenchは様々な最先端メソッドを実装している。 我々は,これらのモデルを薬物設計に不可欠なタスクに適応させてきた。
  論文  参考訳（メタデータ） (2024-06-16T08:20:24Z)
• Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings [60.698130703909804]
  トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。 本稿では,SQ-Transformerを提案する。 SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
  論文  参考訳（メタデータ） (2024-02-09T15:53:15Z)
• FoldToken: Learning Protein Language via Vector Quantization and Beyond [56.19308144551836]
  タンパク質配列構造を離散シンボルとして表現するために textbfFoldTokenizer を導入する。 学習したシンボルを textbfFoldToken と呼び、FoldToken の配列が新しいタンパク質言語として機能する。
  論文  参考訳（メタデータ） (2024-02-04T12:18:51Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部の動作や推論メカニズムを理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがCFG定義階層を正確に学習し、推論し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。