論文の概要: Who Gets Unmasked? Sampler-Induced Bias in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.24795v1
• Date: Sat, 17 Oct 2026 18:02:49 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:53:26.443685
• Title: Who Gets Unmasked? Sampler-Induced Bias in Diffusion Language Models
• Title（参考訳）: 拡散言語モデルにおけるサンプリングによるバイアス
• Abstract要約: 拡散言語モデルはキャンバスを徐々に解き放つことによって生成されるため、サンプルはどのトークンを書くかだけでなく、いつコミットするかも決定する。 生成したテキストに現れるこの2つ目の決定は、モデル自身の上にサンプルによって引き起こされるバイアスであることを示す。 我々はフォークファーストサンプリングを提案し、他のものを書く前にフォークを決定する。
• 参考スコア（独自算出の注目度）: 6.600979675198591
• License:
• Abstract: Diffusion language models (dLLMs) generate by gradually unmasking a canvas, so their samplers decide not only which token to write but also when to commit it. We show that this second decision changes who appears in generated text, a sampler-induced bias on top of the model's own. Common commit rules, including LLaDA's default, commit the positions whose sampled tokens are most probable; this peeking favors majority options. To separate the sampler from the model, we read the model's belief about a fork, such as a protagonist's gender, in one forward pass, and show that this belief matches exact sampling from the model. Measured against it, peeking samplers on LLaDA and Dream amplify occupational gender stereotypes and collapse opinion distributions, and confidence-based ordering shifts gender-balanced occupations toward men, more so under faster parallel decoding. We propose Fork-First Sampling, which decides the fork before anything else is written: it follows the belief or any target distribution, improves fluency, and avoids the stories that remark on the protagonist's gender, which prompt-based fixes produce, at the cost of one forward pass. Fairness evaluations of dLLMs should report the commit rule.
• Abstract（参考訳）: 拡散言語モデル(dLLMs)はキャンバスを徐々に解き放つことによって生成されるため、サンプルはどのトークンを書くかだけでなく、いつコミットするかを決定する。 生成したテキストに現れるこの2つ目の決定は、モデル自身の上にサンプルによって引き起こされるバイアスであることを示す。 LLaDAのデフォルトを含む一般的なコミットルールは、サンプリングされたトークンが最も確率が高い位置をコミットする。 モデルからサンプルを分離するために、モデルが1つの前方通過で主人公の性別などのフォークについての信念を読み、この信念がモデルからの正確なサンプリングと一致することを示す。 それに対して、LLaDAとDreamのサンプルを覗くと、職業性ステレオタイプが増幅され、意見分布が崩壊し、自信に基づく注文は、より高速な並列復号化の下で、ジェンダーバランスされた職業を男性にシフトさせる。 提案するフォークファーストサンプリング(Fork-First Smpling)は,他の何よりも先にフォークを判断し,信念や目標分布を追従し,流布を改善するとともに,プロタゴニストのジェンダーに言及する話を避ける。 dLLMsの公平性評価はコミットルールを報告すべきである。

関連論文リスト

• Analyzing Occupational Gender Bias across the LLM Training Lifecycle [45.68157698206401]
  完全にオープンな言語モデルであるOLMo 3の職業性バイアスについて, 訓練後の段階にわたって検討した。 性別が記載されると、ポストトレーニングは男性コードプロファイルのセマンティックな多様性を増大させる。 モデルによって性別が推定される場合、ポストトレーニングは女性や男性の人格に関する物語に同様の影響を及ぼす。
  論文  参考訳（メタデータ） (2026-10-16T15:07:02Z)
• Uniform Diffusion Models Revisited: Leave-One-Out Denoiser and Absorbing State Reformulation [72.05592785529404]
  UDMの標準プラグインブリッジパラメタライゼーションは,後側頭蓋に最適化されないことを示す。 また,UDM関節法をマスク拡散様サンプリング操作に分解して保存する均一拡散の吸収状態再構成も導入した。
  論文  参考訳（メタデータ） (2026-05-21T17:27:19Z)
• Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
  大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。 MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。 LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
  論文  参考訳（メタデータ） (2025-06-12T08:47:40Z)
• Mitigating Gender Bias via Fostering Exploratory Thinking in LLMs [15.365993658296016]
  大きな言語モデル(LLM)は、しばしば性別バイアスを示し、男女の扱いが不平等になる。 我々のアプローチは、構造的に同一で道徳的に曖昧なシナリオにおいて、男性と女性の主人公を特徴とするストーリーペアを生成するようモデルに促す。 不整合が発生すると、モデルはバランスのとれた性中立的な判断を生み出すように誘導される。
  論文  参考訳（メタデータ） (2025-05-22T18:46:50Z)
• Text Generation Beyond Discrete Token Sampling [74.06071135207635]
  入力の混合(Mixture of Inputs, MoI)は、自動回帰生成のためのトレーニング不要な方法である。 MoIはQwQ-32B、Nemotron-Super-49B、Gemma-3-27B、DAPO-Qwen-32Bを含む複数のモデルのパフォーマンスを継続的に改善している。
  論文  参考訳（メタデータ） (2025-05-20T18:41:46Z)
• MoESD: Mixture of Experts Stable Diffusion to Mitigate Gender Bias [23.10522891268232]
  テキスト・ツー・イメージ・モデルにおいて、ジェンダーバイアスを軽減するためのMixture-of-Expertsアプローチを導入する。 画像品質を維持しながら, 性別偏見の軽減に成功していることを示す。
  論文  参考訳（メタデータ） (2024-06-25T14:59:31Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。