論文の概要: Preconditioned Test-Time Adaptation for Out-of-Distribution Debiasing in Narrative Generation

• arxiv url: http://arxiv.org/abs/2603.13683v1
• Date: Sat, 14 Mar 2026 01:37:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.339869
• Title: Preconditioned Test-Time Adaptation for Out-of-Distribution Debiasing in Narrative Generation
• Title（参考訳）: 物語生成におけるアウト・オブ・ディストリビューションの事前条件付きテスト時間適応
• Abstract要約: CAP-TTAは、コンテキスト対応のLoRA更新を実行するテスト時適応フレームワークである。 また,SOTAの脱バイアス効果と同等の脱バイアス効果を保ちながら,SOTAの脱バイアス効果を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 4.185138944198652
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although debiased LLMs perform well on known bias patterns, they often fail to generalize to unfamiliar bias prompts, producing toxic outputs. We first validate that such high-bias prompts constitute a \emph{distribution shift} via OOD detection, and show static models degrade under this shift. To adapt on-the-fly, we propose \textbf{CAP-TTA}, a test-time adaptation framework that performs context-aware LoRA updates only when the bias-risk \emph{trigger} exceeds a threshold, using a precomputed diagonal \emph{preconditioner} for fast and stable updates. Across toxic-prompt settings and benchmarks, CAP-TTA reduces bias (confirmed by human evaluation) while achieving much lower update latency than AdamW/SGD; it also mitigates catastrophic forgetting by significantly improving narrative fluency over SOTA debiasing baseline while maintaining comparable debiasing effectiveness.
• Abstract（参考訳）: 偏りのLLMは既知のバイアスパターンでよく機能するが、よく見慣れないバイアスプロンプトに一般化できず、有毒な出力を生成する。 我々はまず、OOD検出によりそのようなハイバイアスプロンプトが \emph{distribution shift} を構成することを検証し、このシフトの下で静的モデルが劣化することを示す。 高速かつ安定した更新のために事前に計算された対角線対角線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線対向線 有毒なプロンプト設定とベンチマーク全体にわたって、CAP-TTAはバイアスを低減し(人間による評価で確認されている)、AdamW/SGDよりもはるかに低い更新レイテンシを実現している。

関連論文リスト

• Selective Test-Time Debiasing for CLIP via Reward Gating [9.837249813808603]
  視覚言語モデル(VLM)は、強いゼロショット性能を示すが、人中心のクエリでしばしば社会的なステレオタイプを永続させる。 本稿では,強化学習に基づくテスト時間適応フレームワークであるReward-Gated Test-Time Adaptation (RG-TTA)を紹介する。 RG-TTAは、テスト時間ポリシー適応時の各入力のバイアス感度に基づいて、フェアネス正則化を適応的にトリガする。
  論文  参考訳（メタデータ） (2026-07-01T04:33:26Z)
• Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
  本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。 我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。 この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T14:46:39Z)
• Mitigating Spurious Correlations in LLMs via Causality-Aware Post-Training [57.03005244917803]
  大規模言語モデル (LLMs) は、事前学習中に得られた素早い相関関係により、アウト・オブ・ディストリビューション (OOD) のサンプルで失敗することが多い。 ここでは、因果認識後学習(CAPT)を通して、このような素因的相関を緩和することを目的とする。 公式因果推論ベンチマークCLadderと論理推論データセットPrOntoQAの実験により、CAPTで微調整された3Bスケールの言語モデルでは、従来のSFTおよびより大きなLLMを分散処理(ID)およびOODタスクで上回る結果が得られた。
  論文  参考訳（メタデータ） (2025-06-11T06:30:28Z)
• RAZOR: Sharpening Knowledge by Cutting Bias with Unsupervised Text Rewriting [16.633948320306832]
  手動で構築されたデータセットで一般的なバイアスは、トークンとラベルの間に急激な相関をもたらす可能性がある。 既存のデバイアス法は、しばしば特定のデータセットバイアスに関する事前の知識に依存している。 本稿では,ショートカット緩和のためのテキスト書き直しに基づく,新規で教師なし,データ重視のデバイアス処理手法であるRAZORを提案する。
  論文  参考訳（メタデータ） (2024-12-10T17:02:58Z)
• Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Towards Understanding Task-agnostic Debiasing Through the Lenses of Intrinsic Bias and Forgetfulness [10.081447621656523]
  言語モデリング能力に影響を及ぼす影響は、高品質でコンテキストの長いデバイアスコーパスによって緩和することができる。 タスク依存型デバイアスングヒンジの有効性は、下流アプリケーションに使用されるタスク固有データとデバイアスドモデルの両方の量的バイアスレベルに影響を及ぼす。 本稿では,ソーシャル・フェア・デバイアスを下流ファインチューニング,ProSocialTuningに伝達する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-06T15:11:11Z)
• Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
  プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。 射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
  論文  参考訳（メタデータ） (2024-03-27T17:49:31Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)
• Bias-Conflict Sample Synthesis and Adversarial Removal Debias Strategy for Temporal Sentence Grounding in Video [67.24316233946381]
  TSGV(Temporal Sentence Grounding in Video)は、データセットバイアスの問題に悩まされている。 偏りを伴うサンプル合成と逆行性除去脱バイアス戦略(BSSARD)を提案する。
  論文  参考訳（メタデータ） (2024-01-15T09:59:43Z)
• On Transferability of Bias Mitigation Effects in Language Model Fine-Tuning [30.833538367971872]
  微調整された言語モデルは、一連のモデリングタスクにおいて保護されたグループに対するバイアスを示すことが示されている。 これまでの研究は、これらのバイアスの検出、データの表現におけるバイアスの低減、微調整時のバイアスを軽減するための補助的なトレーニング目的の使用に重点を置いていた。 下流タスクにおけるバイアスを軽減するために、上流バイアス軽減(UBM)の実現可能性とメリットについて検討する。
  論文  参考訳（メタデータ） (2020-10-24T10:36:11Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。