論文の概要: Beyond Model Weights: Sampling-Dependent Fairness in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.27584v2
• Date: Wed, 21 Oct 2026 02:16:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.207532
• Title: Beyond Model Weights: Sampling-Dependent Fairness in Diffusion Language Models
• Title（参考訳）: モデルウェイトを超えて:拡散言語モデルにおけるサンプリング依存フェアネス
• Abstract要約: 自己回帰言語モデル(ARLM)の代替として拡散言語モデル(DLM)が登場している。 いずれのモデルも社会的バイアスを示すが、測定されたバイアスの大きさと相対的なバイアスによるモデルの順序付けは、サンプリング構成に非常に敏感である。 以上の結果から, DLMの公平性は, 脱バイアス後であっても, サンプリング構成とは独立に評価できないことが明らかとなった。
• 参考スコア（独自算出の注目度）: 33.49302676066594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) are emerging as a practical alternative to autoregressive language models (ARLMs), yet their fairness remains largely uncharacterized. DLMs introduce sampling controls with no direct autoregressive counterpart, such as block length and remasking strategy, that directly set their speed--quality operating point. This raises a basic question: does a DLM's measured social bias remain stable across these settings? Across LLaDA, LLaDA-1.5, and Dream on Open-BBQ, we find that all three models exhibit social bias, but both the magnitude of measured bias and the relative ordering of models by bias are highly sensitive to the sampling configuration. This sampling dependence also changes what successful debiasing means. While mitigation strategies established for ARLMs transfer effectively to DLMs and reduce bias without degrading downstream performance, sampling dependence persists even after mitigation. Our results show that fairness in DLMs cannot be characterized independently of the sampling configuration, even after debiasing. Project page is available at https://pakapaka333.github.io/Beyond-Model-Weights/.
• Abstract（参考訳）: 拡散言語モデル (DLMs) は自己回帰言語モデル (ARLMs) の実用的な代替品として登場しているが、その公平性はいまだにほとんど実現されていない。 DLMは、ブロック長やリメイキング戦略など、直接自己回帰的でないサンプリング制御を導入し、その速度品質の操作ポイントを直接設定する。 DLMの測定する社会的バイアスは、これらの設定で安定しているのでしょうか? LLaDA、LLaDA-1.5、Dream on Open-BBQの3モデルとも社会的バイアスを示すが、測定されたバイアスの大きさと相対的なバイアスによるモデルの順序はサンプリング構成に非常に敏感である。 このサンプリング依存は、成功しているデバイアスの意味も変える。 ARLMが確立した緩和戦略は, 下流性能を低下させることなくDLMに効果的に移行し, バイアスを低減する一方で, サンプリング依存性は緩和後も持続する。 以上の結果から, DLMの公平性は, 脱バイアス後であっても, サンプリング構成とは独立に評価できないことが明らかとなった。 プロジェクトページはhttps://pakapaka333.github.io/Beyond-Model-Weights/で公開されている。

関連論文リスト

• MLLM-as-a-Judge Exhibits Model Preference Bias [3.369875207401089]
  MLLM-as-a-Judgeメソッドが特定のMLLMによって生成されるテキストをどの程度好んでいるかは、まだ不明である。 12個のMLLMから採取した1.29M字幕スコアペアを用いて,代表MLLMは自己選好バイアスを呈する傾向を示した。 その結果,Pommsは性能を維持しつつ,モデル固有の嗜好バイアスを効果的に緩和することを示した。
  論文  参考訳（メタデータ） (2026-04-13T15:04:40Z)
• Introspective Diffusion Language Models [58.91876345013321]
  イントロスペクティブ拡散言語モデル(Introspective Diffusion Language Model, I-DLM)は、ARトレーニングのイントロスペクティブ一貫性を継承しながら並列デコードを維持するパラダイムである。 I-DLMは、新しいintrospective strided decoding (ISD)アルゴリズムを使用しており、モデルは同じ前方パスで新しいトークンを前進させながら、以前に生成されたトークンを検証することができる。 I-DLMは、同規模のARの質に匹敵する最初のDLMであり、モデル品質と15ベンチマークでの実用効率の両方において、以前のDLMよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-13T06:01:01Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• Bias Similarity Measurement: A Black-Box Audit of Fairness Across LLMs [35.72288339965426]
  バイアス類似度測定(BSM)は、公平性をモデル間の関係性として扱う。 オープンウェイトモデルは、プロプライエタリなシステムと一致したり、超えたりすることができる。 BSMは、調達、回帰テスト、系統スクリーニングのための監査ワークフローを提供する。
  論文  参考訳（メタデータ） (2024-10-15T19:21:14Z)
• Social Debiasing for Fair Multi-modal LLMs [59.61512883471714]
  MLLM(Multi-modal Large Language Models)は、研究分野を劇的に進歩させ、強力な視覚言語理解機能を提供する。 これらのモデルは、しばしば訓練データから根深い社会的偏見を継承し、人種や性別などの属性に対する不快な反応をもたらす。 本稿では,MLLMにおける社会的バイアスの問題を,複数の社会的概念を持つ包括的対実的データセットを導入することで解決する。
  論文  参考訳（メタデータ） (2024-08-13T02:08:32Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• Self-Supervised Position Debiasing for Large Language Models [39.261233221850155]
  大規模言語モデル(LLM)における位置バイアスを軽減するための自己教師型位置偏差検出(SOD)フレームワークを提案する。 8つのデータセットと5つのタスクの実験により、SODは3つのタイプの位置バイアスを緩和する既存の手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T14:12:41Z)
• Keeping Up with the Language Models: Systematic Benchmark Extension for Bias Auditing [33.25539075550122]
  我々は, LM生成語彙変動, 逆フィルタリング, 人間の検証を組み合わせることで, 既存のNLIのバイアスベンチマークを拡張した。 BBNLI-nextは最先端のNLIモデルの精度を95.3%から57.5%に下げることを示した。 バイアスとモデル脆性の両方を考慮したバイアス対策を提案する。
  論文  参考訳（メタデータ） (2023-05-22T01:02:45Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。