論文の概要: Gated Tree Cross-attention for Checkpoint-Compatible Syntax Injection in Decoder-Only LLMs

• arxiv url: http://arxiv.org/abs/2602.15846v1
• Date: Fri, 23 Jan 2026 10:28:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 12:01:13.643487
• Title: Gated Tree Cross-attention for Checkpoint-Compatible Syntax Injection in Decoder-Only LLMs
• Title（参考訳）: Decoder-Only LLMにおけるチェックポイント対応型構文注入のためのGated Tree Cross-attention
• Authors: Xinyu Gao, Shaonan Wang, Nai Ding,
• Abstract要約: バックボーンアーキテクチャをそのまま残しながら、あらかじめ計算済みのチャンクメモリを読み取るチェックポイント互換ゲートツリークロスアテンション(GTCA)ブランチを導入する。 GTCAは、マルチコースQA性能やコモンセンス推論を損なうことなく、継続的なトレーニングベースラインを超えて統語的堅牢性を強化する。
• 参考スコア（独自算出の注目度）: 20.608421174111346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decoder-only large language models achieve strong broad performance but are brittle to minor grammatical perturbations, undermining reliability for downstream reasoning. However, directly injecting explicit syntactic structure into an existing checkpoint can interfere with its pretrained competence. We introduce a checkpoint-compatible gated tree cross-attention (GTCA) branch that reads precomputed constituency chunk memory while leaving backbone architecture unchanged. Our design uses a token update mask and staged training to control the scope and timing of structural updates. Across benchmarks and Transformer backbones, GTCA strengthens syntactic robustness beyond continued-training baselines without compromising Multiple-Choice QA performance or commonsense reasoning, providing a practical checkpoint-compatible route to more syntax-robust decoder-only LLMs.
• Abstract（参考訳）: デコーダのみの大規模言語モデルは高い性能を達成するが、文法的摂動に弱いため、下流の推論の信頼性を損なう。 しかし、既存のチェックポイントに直接明示的な構文構造を注入することは、事前訓練された能力に干渉する可能性がある。 バックボーンアーキテクチャをそのまま残しながら、あらかじめ計算済みのチャンクメモリを読み取るチェックポイント互換ゲートツリークロスアテンション(GTCA)ブランチを導入する。 私たちの設計では、トークン更新マスクとステージドトレーニングを使用して、構造更新のスコープとタイミングを制御しています。 ベンチマークやTransformerのバックボーン全体にわたって、GTCAは、複数のChoice QAパフォーマンスや常識推論を損なうことなく、継続的なトレーニングベースラインを超えた構文的堅牢性を強化し、より構文ローバストなデコーダのみのLLMへの実用的なチェックポイント互換のルートを提供する。

関連論文リスト

• SPARC: Scenario Planning and Reasoning for Automated C Unit Test Generation [1.0010193170880752]
  本稿では,高レベルのプログラム意図とポインタ演算と手動メモリ管理の厳密な構文制約とのギャップを埋める,ニューロシンボリックなシナリオベースのフレームワークを提案する。 我々は、59の現実世界およびアルゴリズムの被験者で評価し、バニラプロンプト生成ベースラインを31.36%、分岐カバレッジ26.01%、突然変異スコア20.78%で上回り、シンボリック実行ツールKLEEに適合または超えている。
  論文  参考訳（メタデータ） (2026-02-18T18:09:03Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• CKG-LLM: LLM-Assisted Detection of Smart Contract Access Control Vulnerabilities Based on Knowledge Graphs [5.949109261833118]
  本稿では,スマートコントラクトにおけるアクセス制御脆弱性を検出するフレームワークであるCKG-LLMを提案する。 CKG-LLMは、自然言語の脆弱性パターンをコントラクト知識グラフ上の実行可能なクエリに変換して、脆弱性のあるコード要素を自動的に特定する。
  論文  参考訳（メタデータ） (2025-12-07T13:58:37Z)
• CoPRS: Learning Positional Prior from Chain-of-Thought for Reasoning Segmentation [51.25997439181537]
  CoPRSは、ヘアマップとしてインスタンス化された、微分可能で解釈可能な位置推定を通じて、セグメンテーションへの言語推論をブリッジする。 学習可能な集中トークンは、画像の特徴と推論テキストを集約して、この位置先を生成する。
  論文  参考訳（メタデータ） (2025-10-13T09:07:54Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• PointTree: Transformation-Robust Point Cloud Encoder with Relaxed K-D Trees [27.641101804012152]
  我々は、リラックスしたK-D木に基づく変換に頑健なポイントクラウドエンコーダであるPointTreeを提案する。 我々のアプローチの鍵は、主成分分析(PCA)を用いたK-D木における分割則の設計である。 この新しいアーキテクチャ設計に加えて、事前調整による導入をさらに改善する。
  論文  参考訳（メタデータ） (2022-08-11T17:59:09Z)
• REGTR: End-to-end Point Cloud Correspondences with Transformers [79.52112840465558]
  我々は、注意機構が明示的な特徴マッチングとRANSACの役割を置き換えることができると推測する。 本稿では,最終文集合を直接予測するエンドツーエンドフレームワークを提案する。 提案手法は3DMatchおよびModelNetベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T06:01:00Z)
• Pseudo-IoU: Improving Label Assignment in Anchor-Free Object Detection [60.522877583407904]
  現在のアンカーフリー物体検出器は非常に単純で有効であるが、正確なラベル割り当て方法がない。 Pseudo-Intersection-over-Union(Pseudo-IoU): アンカーフリーなオブジェクト検出フレームワークに、より標準化され、正確な割り当てルールをもたらす単純なメトリックである。 本手法はベルやホイッスルを使わずに最新のアンカーフリー手法と同等の性能を実現する。
  論文  参考訳（メタデータ） (2021-04-29T02:48:47Z)
• End-to-End Object Detection with Transformers [88.06357745922716]
  本稿では,オブジェクト検出を直接セット予測問題とみなす新しい手法を提案する。 我々のアプローチは検出パイプラインを合理化し、手作業で設計された多くのコンポーネントの必要性を効果的に除去する。 この新しいフレームワークの主な構成要素は、Detection TRansformerまたはDETRと呼ばれ、セットベースのグローバルな損失である。
  論文  参考訳（メタデータ） (2020-05-26T17:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。