論文の概要: What Gets Unmasked First? Trajectory Analysis of Diffusion Models for Graph-to-Text Generation

• arxiv url: http://arxiv.org/abs/2605.31564v1
• Date: Fri, 29 May 2026 17:29:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.773838
• Title: What Gets Unmasked First? Trajectory Analysis of Diffusion Models for Graph-to-Text Generation
• Title（参考訳）: 第一に何を得るか? グラフ-テキスト生成のための拡散モデルの軌道解析
• Abstract要約: グラフ・テキスト生成のためのマスク拡散言語モデルの最初の体系的研究について述べる。 MDLMは、まず自然にエンティティを優先し、次にリレーショナルと関数の単語が続き、最後に構造トークンが解決される。 グラフ変換器エンコーダをLLaDAの復号処理に統合し,グラフ構造を明示的に組み込むグラフ-LLaDAを提案する。
• 参考スコア（独自算出の注目度）: 7.344034836280294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the first systematic study of masked diffusion language models (MDLMs) for graph-to-text generation. We analyze MDLM generation trajectories -- the order in which tokens are unmasked during iterative decoding -- and find that, unlike autoregressive LLMs which generate text linearly, MDLMs naturally prioritize entities first, followed by relational and function words, with structural tokens resolved last. We further identify a previously undocumented failure mode of supervised fine-tuning: SFT disrupts this strategy by prematurely anchoring structural sentence-ending tokens early in the decoding trajectory, effectively fixing the output length which can lead to omitted or hallucinated information. To address this, we propose lambda-scaled structural decoding, a training-free inference-time modification that downweights structural token confidence and recovers +9.4 BLEU-4. Finally, we introduce Graph-LLaDA, which integrates a Graph Transformer encoder into LLaDA's decoding process to explicitly incorporate relational graph structure. Cross-dataset evaluation on LAGRANGE reveals that previous baselines overfit to dataset-specific patterns, while LLM- and MDLM-based approaches generalize significantly better.
• Abstract（参考訳）: グラフ・テキスト生成のためのマスク拡散言語モデル(MDLM)の最初の体系的研究について述べる。 MDLM生成トラジェクトリ(反復デコーディング中にトークンが非マストされる順序)を分析し、テキストを線形に生成する自己回帰LDMとは異なり、MDLMはエンティティを優先し、次にリレーショナルおよび関数ワードを最後に解決する。 SFTは、デコード軌道の早い段階で構造文終端トークンを早期にアンロックすることで、この戦略を妨害し、省略情報や幻覚情報に繋がる出力長を効果的に固定する。 これを解決するために,ラムダスケール構造復号法を提案する。これは,構造トークンの信頼性を低下させ,+9.4 BLEU-4を復元する,トレーニング不要な推論時間修正である。 最後に、グラフ変換器エンコーダをLLaDAの復号処理に統合し、関係グラフ構造を明示的に組み込むグラフ-LLaDAを紹介する。 LAGRANGEのクロスデータセット評価では、以前のベースラインがデータセット固有のパターンに過度に適合しているのに対し、LLMおよびMDLMベースのアプローチは大幅に一般化されている。

関連論文リスト

• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• Teaching LLMs to See Graphs: Unifying Text and Structural Reasoning [0.0]
  本稿では,事前学習によるグラフトポロジ処理を可能にする新しいアーキテクチャであるグラフトランスフォーマー言語モデル(GTLM)を紹介する。 GTLMは例外的にパラメータ効率が高く、LLMのアテンションモジュールに直接グラフ認識のアテンションバイアスを注入する。 我々は,GTLMのアテンションヘッドが暗黙的にメッセージパッシングをシミュレートし,アルゴリズム上の優れた性能を説明することを実証した。
  論文  参考訳（メタデータ） (2026-05-11T09:19:55Z)
• Toward Graph-Tokenizing Large Language Models with Reconstructive Graph Instruction Tuning [17.712367049197212]
  大きな言語モデル(LLM)がグラフをよりよく理解できるように、グラフデータを言語空間と整合させることが課題である。 GTokenLLMは複雑な構造と長いテキストをグラフトークンシーケンスにエンコードし、言語命令のチューニングを通じてテキストトークンと整列する。 最初の成功にもかかわらず、我々の情報理論分析により、既存のGTokenLLMは言語命令からのテキスト管理のみに依存していることが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-02T02:26:54Z)
• SAFT: Structure-Aware Fine-Tuning of LLMs for AMR-to-Text Generation [50.277959544420455]
  SAFTは、事前訓練された言語モデルにグラフトポロジーを注入する構造対応の微調整手法である。 変換されたAMRの磁気ラプラシアンから方向感応的な位置エンコーディングを計算する。 SAFTはAMR 3.0に新しい最先端を設定、ベースラインを3.5BLEU改善した。
  論文  参考訳（メタデータ） (2025-07-15T18:12:57Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model [63.774726052837266]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。 本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
  論文  参考訳（メタデータ） (2024-12-08T05:49:58Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• Large Language Models as Topological Structure Enhancers for Text-Attributed Graphs [3.5627549694751184]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。 本研究では,LLMの情報検索とテキスト生成機能を活用して,ノード分類設定の下でのテキスト分散グラフ(TAG)のトポロジ構造を洗練・強化する方法について検討する。
  論文  参考訳（メタデータ） (2023-11-24T07:53:48Z)
• Structural Adapters in Pretrained Language Models for AMR-to-text Generation [59.50420985074769]
  グラフ構造データからのテキスト生成に関するこれまでの研究は、事前学習言語モデル(plm)に依存している。 グラフ構造をPLMにエンコードするアダプタ法であるStructAdaptを提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。