論文の概要: Reasoning Towards Fairness: Mitigating Bias in Language Models through Reasoning-Guided Fine-Tuning

• arxiv url: http://arxiv.org/abs/2504.05632v1
• Date: Tue, 08 Apr 2025 03:21:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 02:39:33.07482
• Title: Reasoning Towards Fairness: Mitigating Bias in Language Models through Reasoning-Guided Fine-Tuning
• Title（参考訳）: フェアネスに向けての推論:推論ガイドによる言語モデルにおけるバイアスの緩和
• Authors: Sanchit Kabra, Akshita Jha, Chandan Reddy,
• Abstract要約: モデルの推論能力と公平性との関係について検討する。 より強力な推論能力を持つ大型モデルは、かなり低いステレオタイプバイアスを示す。 本稿では,先進的推論モデルから構造的推論トレースを抽出し,そのような能力を欠いたモデルに注入する手法であるReGiFTを紹介する。
• 参考スコア（独自算出の注目度）: 2.276701403898045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large-scale generative language models have shown that reasoning capabilities can significantly improve model performance across a variety of tasks. However, the impact of reasoning on a model's ability to mitigate stereotypical responses remains largely underexplored. In this work, we investigate the crucial relationship between a model's reasoning ability and fairness, and ask whether improved reasoning capabilities can mitigate harmful stereotypical responses, especially those arising due to shallow or flawed reasoning. We conduct a comprehensive evaluation of multiple open-source LLMs, and find that larger models with stronger reasoning abilities exhibit substantially lower stereotypical bias on existing fairness benchmarks. Building on this insight, we introduce ReGiFT -- Reasoning Guided Fine-Tuning, a novel approach that extracts structured reasoning traces from advanced reasoning models and infuses them into models that lack such capabilities. We use only general-purpose reasoning and do not require any fairness-specific supervision for bias mitigation. Notably, we see that models fine-tuned using ReGiFT not only improve fairness relative to their non-reasoning counterparts but also outperform advanced reasoning models on fairness benchmarks. We also analyze how variations in the correctness of the reasoning traces and their length influence model fairness and their overall performance. Our findings highlight that enhancing reasoning capabilities is an effective, fairness-agnostic strategy for mitigating stereotypical bias caused by reasoning flaws.
• Abstract（参考訳）: 大規模生成言語モデルの最近の進歩は、推論能力が様々なタスクにおけるモデル性能を大幅に改善できることを示してきた。 しかし、モデルがステレオタイプ応答を緩和する能力に推論が与える影響は、いまだに未解明のままである。 本研究では,モデルの推論能力と公平性との関係について検討し,改良された推論能力が有害なステレオタイプ応答,特に浅みや欠陥のある推論による応答を緩和できるかどうかを問う。 我々は,複数のオープンソース LLM の総合評価を行い,より強力な推論能力を持つ大規模モデルは,既存のフェアネスベンチマークに対してかなり低いステレオタイプバイアスを示すことを示した。 この洞察に基づいて、私たちはReGiFT -- Reasoning Guided Fine-Tuningを紹介します。これは、高度な推論モデルから構造化推論トレースを抽出し、そのような機能を欠いたモデルに注入する、新しいアプローチです。 我々は、汎用推論のみを使用し、バイアス軽減のための公平性特異的な監督は必要としない。 特に,ReGiFTを用いて微調整したモデルでは,非合理的なモデルに比べて公平性が向上するだけでなく,公平性ベンチマークの高度な推論モデルよりも優れていた。 また,理論の正しさの変動と,その長さがモデルフェアネスと全体的な性能に与える影響を解析した。 本研究は, 推論能力の向上が, 推論欠陥によるステレオタイプバイアスを緩和するための有効かつ公平な戦略であることを示唆した。

関連論文リスト

• Guiding LLM Decision-Making with Fairness Reward Models [12.32062012708603]
  大規模な言語モデルは、高い意思決定をサポートするためにますます使われています。 本稿では,一般化可能なフェアネス・リワードモデルをトレーニングするためのフレームワークを提案する。 提案手法は,基準値の精度を一致させたり,超えたりしながら,一貫した公正性の向上を図っている。
  論文  参考訳（メタデータ） (2025-07-15T14:20:23Z)
• Is Reasoning All You Need? Probing Bias in the Age of Reasoning Language Models [0.0]
  RLM(Reasoning Language Models)は、複雑な多段階推論タスクを実行する能力によって注目を集めている。 これらの能力は信頼性の向上を約束するが、社会的バイアスに対する堅牢性への影響はまだ不明だ。 我々は, CLEAR-Bias ベンチマークを用いて, RLM のバイアス誘発に対する対角的ロバスト性について検討する。
  論文  参考訳（メタデータ） (2025-07-03T17:01:53Z)
• NaturalThoughts: Selecting and Distilling Reasoning Traces for General Reasoning Tasks [65.70224757972068]
  本研究では,NaturalReasoningからの質問のプールに基づいて,強力な教師モデルから推論トレースを選択する。 データサイズをランダムサンプリングでスケールアップすることは、安定したパフォーマンス向上を伴う強力なベースラインであることに気付きました。 より多様な推論戦略を必要とする難しい事例を選択することは、教師モデルの推論スキルを伝達するよりサンプル効率が高いことが判明した。
  論文  参考訳（メタデータ） (2025-07-02T17:30:24Z)
• Lost at the Beginning of Reasoning [82.18834329384514]
  第1の推論ステップが最終予測に不当に大きな影響を与えることを示す。 本稿では、報酬モデルを利用して高品質な第1推論ステップを特定し、維持する効率的なサンプリング戦略を提案する。 モデル自己補正能力を体系的に評価するために、意図的に欠陥のある第1の推論ステップで構築された新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-06-27T09:53:57Z)
• Rationales Are Not Silver Bullets: Measuring the Impact of Rationales on Model Performance and Reliability [70.4107059502882]
  有理数拡張による学習言語モデルは、多くの既存の作品において有益であることが示されている。 モデル性能に対する合理的性の影響を徹底的に調査するため、包括的調査を行う。
  論文  参考訳（メタデータ） (2025-05-30T02:39:37Z)
• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [53.18562650350898]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• Thinking Out Loud: Do Reasoning Models Know When They're Right? [19.776645881640178]
  大規模推論モデル(LRM)は、最近、複雑な推論タスクにおいて印象的な機能を示した。 本研究では,LRMが他のモデル行動とどのように相互作用するかを,言語的信頼度を解析することによって検討する。 推論モデルには、知識境界に対する認識の低下がある可能性がある。
  論文  参考訳（メタデータ） (2025-04-09T03:58:19Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Reasoning Elicitation in Language Models via Counterfactual Feedback [17.908819732623716]
  事実と反事実の質問において精度のバランスをとる新しい指標を導出する。 本稿では,より優れた推論機構を実現するための微調整手法を提案する。 各種現実シナリオにおける微調整言語モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-10-02T15:33:30Z)
• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)
• Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models [100.53662473219806]
  Diffusion-of-Thought (DoT) は、拡散モデルとChain-of-Thoughtを統合する新しいアプローチである。 DoTは、拡散言語モデルを通じて、時間とともに推論ステップが拡散することを可能にする。 本研究は,多桁乗算,論理学,小学校数学におけるDoTの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-12T16:23:28Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Guide the Learner: Controlling Product of Experts Debiasing Method Based on Token Attribution Similarities [17.082695183953486]
  一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再重み付けすることで、堅牢なモデルをトレーニングすることである。 ここでは、バイアスドモデルが機能をショートカットする、という前提がある。 本稿では,主要モデルと偏りのあるモデル属性スコアの類似性を,プロダクト・オブ・エキスパートズ・ロス関数に組み込んだ微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-02-06T15:21:41Z)
• Fairness Increases Adversarial Vulnerability [50.90773979394264]
  フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。 非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。 フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
  論文  参考訳（メタデータ） (2022-11-21T19:55:35Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• CausaLM: Causal Model Explanation Through Counterfactual Language Models [33.29636213961804]
  CausaLMは、対実言語表現モデルを用いた因果モデル説明を作成するためのフレームワークである。 本稿では,BERT のような言語表現モデルが,ある意味ある概念に対する対実表現を効果的に学習できることを示す。 本手法の副産物は,テストされた概念の影響を受けない言語表現モデルである。
  論文  参考訳（メタデータ） (2020-05-27T15:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。