論文の概要: Aligning Language Models Towards Counterfactual Invariance

• arxiv url: http://arxiv.org/abs/2610.22942v1
• Date: Fri, 16 Oct 2026 05:09:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.768912
• Title: Aligning Language Models Towards Counterfactual Invariance
• Title（参考訳）: 対実的不変性に向けた言語モデルの調整
• Abstract要約: プロンプト特性の小さなバリエーションは、大きな言語モデル出力のセマンティクス、トーン、文脈的仮定を意味的に変更することができる。 このような入力変数に対する感度は、人口統計情報がタスクと因果関係なく関係している場合、望ましくないが、それでも意味的に一貫性のある応答の生成には関係があるかもしれない。 提案手法は, 応答品質を全体として保ちながら, 結果の相違を低減し, このような機密情報が関係する場合には, モデルが適切な適応を続けることを示す。
• 参考スコア（独自算出の注目度）: 8.15647191426171
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small variations in prompt characteristics can meaningfully alter the semantics, tone, and contextual assumptions of large language model outputs. Such characteristics can involve group variables such as demographics or other sensitive latent attributes. Sensitivity to such input variables is undesirable when demographic information is causally irrelevant to the task, but might still be relevant for generation of semantically coherent responses. This makes the task of enforcing counterfactual invariance while preserving model utility difficult. To study this problem, we first show that standard model alignment recipes (such as reinforcement learning) increase differences in response quality across demographics, while improving overall response quality, ultimately amplifying what is known as counterfactual bias. To address this, we develop a policy gradient technique involving a group-level reward function that operates on matched pairs of counterfactual prompts. For completeness, we build a dataset of controlled counterfactual prompt pairs and design an evaluation that separately measures cases where demographic information is causally relevant to the answer. Finally, we validate our findings on several fairness benchmarks. We demonstrate that our methods reduce counterfactual differences while preserving overall response quality and that the models continue to adapt appropriately when such sensitive information is relevant.
• Abstract（参考訳）: プロンプト特性の小さなバリエーションは、大きな言語モデル出力のセマンティクス、トーン、文脈的仮定を意味的に変更することができる。 このような特徴は、人口統計学やその他の敏感な潜在属性のようなグループ変数を含む可能性がある。 このような入力変数に対する感度は、人口統計情報がタスクと因果関係なく関係している場合、望ましくないが、それでも意味的に一貫性のある応答の生成には関係があるかもしれない。 これにより、モデルユーティリティを保持しながら、対物的不変性を強制する作業が困難になる。 この問題を研究するために、まず、標準モデルアライメントレシピ(強化学習など)は、人口統計学における応答品質の差を増大させ、全体の応答品質を改善し、最終的に反事実バイアスとして知られるものを増幅することを示した。 そこで本研究では,グループレベルの報酬関数を組み込んだポリシー勾配手法を開発した。 完全性のために、制御された反実的プロンプトペアのデータセットを構築し、人口統計情報が応答に因果関係のあるケースを別々に測定する評価を設計する。 最後に、いくつかのフェアネスベンチマークで結果を検証する。 提案手法は, 応答品質を保ちながら, 結果の相違を低減し, 機密情報が関係する場合には, モデルが適切な適応を続けることを実証する。

関連論文リスト

• The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context [76.36635039699112]
  大規模言語モデル(LLM)は、タスク入力に長く、部分的には関係のないコンテキストが伴うような、コンテキストに富んだ環境にますますデプロイされる。 現状のモデルはしばしば、集合レベルでのタスク非関連コンテキストに対して頑健に見える。 しかし、この集合安定性は、指数当たりの不安定性を著しくマスクする。
  論文  参考訳（メタデータ） (2026-07-14T17:01:12Z)
• When Does Demographic Information Help? Data and Modeling Regimes for Perspective-Aware Hate Speech Detection [3.685453775072903]
  データ分割プロパティとモデリングフレームワークの両方の機能として、人口増加を分析します。 人口増加は、低いトレーニング不一致、高いテスト不一致、きめ細かいあいまいさの測定、十分なトレーニングデータ、より大きな人口重なりのある体制に集中している。
  論文  参考訳（メタデータ） (2026-05-26T17:24:41Z)
• Debiasing Reward Models by Representation Learning with Guarantees [20.170532007501883]
  本稿では,報酬モデルにおける素早い相関問題を緩和する原理的枠組みを提案する。 本研究では, 余剰潜伏変数のサロゲートが利用できるかどうかに関わらず, 理論上はデータから非純粋潜伏変数を識別可能であることを示す。 合成および実世界のデータセットに関する実験により、我々の手法は効果的な相関問題を緩和し、より堅牢な報酬モデルが得られることを示した。
  論文  参考訳（メタデータ） (2025-10-27T18:37:57Z)
• Even Small Correlation and Diversity Shifts Pose Dataset-Bias Issues [19.4921353136871]
  実験サンプルがトレーニング中に見つからないパターンを示す場合の多様性シフトと、テストデータが観察された不変性と急激な特徴の異なる相関を示す場合の相関シフトの2種類について検討した。 そこで我々は,両タイプのシフトをデータセットを用いて分析し,制御可能な方法で共存する統合プロトコルを提案する。
  論文  参考訳（メタデータ） (2023-05-09T23:40:23Z)
• Learning Disentangled Textual Representations via Statistical Measures of Similarity [35.74568888409149]
  トレーニングを必要としない不整合表現を学習するための正規化器のファミリーを導入する。 我々の新しい正規化器は、追加のトレーニングを必要とせず、より速く、追加のチューニングを伴わない。
  論文  参考訳（メタデータ） (2022-05-07T08:06:22Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。