論文の概要: A Diagnostic Study of Faithfulness in Diffusion Language Models for Table-to-Text Generation

• arxiv url: http://arxiv.org/abs/2610.29602v1
• Date: Wed, 21 Oct 2026 11:42:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.348589
• Title: A Diagnostic Study of Faithfulness in Diffusion Language Models for Table-to-Text Generation
• Title（参考訳）: 表-テキスト生成のための拡散言語モデルにおける忠実性の診断的研究
• Abstract要約: 拡散言語モデルは、双方向の注意の下でマスキングシーケンスを反復的にデノベートすることによって生成する。 この差が、構造化された入力において、いかに確実に基底を保ち続けるかに影響を及ぼすかどうかを考察する。
• 参考スコア（独自算出の注目度）: 0.3823356975862005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models generate by iteratively denoising a masked sequence under bidirectional attention, without the strict left-to-right commitment of autoregressive decoding. Whether this difference affects how reliably they remain grounded in structured inputs is largely unexplored. We study this question in table-to-text generation using ToTTo, where highlighted source cells make factual grounding directly testable. We compare the masked diffusion models MDLM and LLaDA with GPT-2 and GPT-Neo under an identical retrieval-based few-shot protocol, together with a QLoRA-adapted LLaDA, and we score reference similarity and source grounding as separate axes. The two pull apart. Within LLaDA, additional demonstrations raise BLEU from 11.3 to 22.0 while NLI entailment against the source table falls from 0.78 to 0.52; QLoRA reaches the best BLEU of the study, 24.15, and grounds no better for it. Manual annotation shows the failure modes differ in kind: the autoregressive baselines tend to wander off the table, while LLaDA-based models more often stay on topic and swap out individual entities. Reference-based metrics alone are insufficient to assess faithfulness in table-to-text generation.
• Abstract（参考訳）: 拡散言語モデルは、自己回帰的復号の厳密な左から右へのコミットメントなしに、双方向の注意の下でマスクされたシーケンスを反復的にデノベートすることによって生成される。 この違いが、構造化された入力にどれだけ確実に基礎を置き続けるかは、ほとんど解明されていない。 ToTToを用いたテーブル・ツー・テキスト・ジェネレーションにおいて,この課題について検討した。 マスク付き拡散モデルMDLMとLLaDAとGPT-2とGPT-Neoを同一の検索方式で比較し、QLoRA適応LLaDAと組み合わせ、参照類似度とソースグラウンドを別軸として評価する。 2人は引き離します。 LLaDAでは、BLEUが11.3から22.0に上昇し、NLIは0.78から0.52に減少し、QLoRAは研究で最高のBLEUである24.15に到達した。 自動回帰ベースラインはテーブルから逸脱する傾向があり、LLaDAベースのモデルはトピックに留まり、個々のエンティティを交換することが多い。 参照ベースのメトリクスだけでは、テーブル・ツー・テキスト生成における忠実さを評価するには不十分である。

関連論文リスト

• Hierarchical Masked Diffusion Language Models [24.37674114232638]
  マスク付き拡散言語モデルは自己回帰モデルの代替として登場し、並列トークン生成を可能にしている。 本稿では,階層型マスク付き拡散言語モデル(Hierarchical Masked Diffusion Language Model, HMDLM)を紹介する。 各階層レベルのノイズスケジュールを与えると、より優先的な位置を明らかにするためのソフトで制御可能な好みが生じる。
  論文  参考訳（メタデータ） (2026-10-21T06:06:01Z)
• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• Discrete Diffusion Language Models for Interactive Radiology Report Drafting [2.2462804525190427]
  拡散言語モデルは、トークンを右に出力する代わりに、トークンキャンバスを双方向に表記することでテキストを生成する。 実験用拡散言語モデルDiffusionGemma-26Bを適用し,同サイズのARシリングGemma-4-26Bと比較した。
  論文  参考訳（メタデータ） (2026-07-01T19:59:09Z)
• From Table to Cell: Attention for Better Reasoning with TABALIGN [17.847003670797324]
  計画と実行が明示的なセルグラウンド契約を共有しないため、構造化テーブル上の多段階LSM推論は失敗する。 契約を運用するテーブル推論フレームワークであるTABALIGNを提案する。
  論文  参考訳（メタデータ） (2026-05-14T07:00:26Z)
• Large Language Diffusion Models [93.26422905620008]
  大規模言語モデル(LLM)は自己回帰モデル(ARM)に依存していると考えられている。 我々は,事前学習および教師付き微調整パラダイムの下で,ゼロから学習した拡散モデルであるLLaDAを紹介する。 一般的なタスクや数学、コードなどに関する広範なベンチマークを通じて、LLaDAは強力なスケーラビリティを示し、自己構築されたARMベースラインと互換性のあるパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2025-02-14T08:23:51Z)
• Everything to the Synthetic: Diffusion-driven Test-time Adaptation via Synthetic-Domain Alignment [81.78901060731269]
  テスト時間適応(TTA)は、これまで見つからなかった、シフトしたターゲットドメイン上でのソースドメイン事前訓練モデルの性能を改善することを目的としている。 従来のTTA手法は、主にターゲットデータストリームに基づいてモデルの重みを適応し、ターゲットデータの量と順序に敏感なモデル性能を実現する。 最近提案された拡散駆動型TTA法は、モデル入力を重みに代えて適応することでこれを緩和し、ソースドメイン上で訓練された無条件拡散モデルにより、ターゲットドメインデータをソースドメインに近似する合成ドメインに変換する。
  論文  参考訳（メタデータ） (2024-06-06T17:39:09Z)
• Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation [49.916963624249355]
  UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。 トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。 本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T04:50:27Z)
• Making a (Counterfactual) Difference One Rationale at a Time [5.97507595130844]
  本研究では,人的支援を伴わない反現実的データ拡張が,セレクタの性能を向上させることができるかどうかを考察する。 以上の結果から,CDAは関心のシグナルをよりよく捉えた合理性を生み出すことが示唆された。
  論文  参考訳（メタデータ） (2022-01-13T19:05:02Z)
• Improving Reliability of Latent Dirichlet Allocation by Assessing Its Stability Using Clustering Techniques on Replicated Runs [0.3499870393443268]
  本研究は,LDAの安定度を再現走行の代入値と比較することによって検討する。 修正ジャカード係数を用いて、2つの生成トピックの類似性を定量化する。 S-CLOPはLDAモデルの安定性を評価するのに有用であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T07:10:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。