論文の概要: Reproducing FACTER: Fairness via Conformal Thresholding and Prompt Repair
- arxiv url: http://arxiv.org/abs/2606.28620v1
- Date: Fri, 26 Jun 2026 21:37:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.621466
- Title: Reproducing FACTER: Fairness via Conformal Thresholding and Prompt Repair
- Title(参考訳): FACTERの再生:コンフォーマルスレッショルドとプロンプト修復による公正性
- Abstract要約: FACTERは、フェアネスと統計的カバレッジを共同で実施するために設計された、モデルに依存しないフレームワークである。
多様なアーキテクチャとデータセットの分散レベルをまたいだFACTERフレームワークの研究を行う。
我々の分析では、FACTERは適応閾値違反数を一貫して減少させるが、これらの減少はグローバルフェアネスの指標に一貫して反映されない。
- 参考スコア(独自算出の注目度): 0.6977547772245161
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fayyazi et al. (2025) recently proposed FACTER, a model-agnostic framework designed to jointly enforce fairness and statistical coverage in LLM-based recommendation through conformal thresholding and iterative prompt repair. In this work, we conduct a reproducibility study of the FACTER framework across diverse architectures and dataset sparsity levels, evaluating both the original open-ended generation task and a constrained re-ranking extension. Under the strict reproduction, we observe a divergence in recommendation utility, which we trace to underspecified target-set evaluation in the original study. We then use the constrained re-ranking setting to evaluate FACTER when the candidate set is fixed, and introduce a static Fair Zero-Shot baseline to isolate the contribution of the iterative prompt repair loop. Our analysis shows that FACTER consistently reduces adaptive-threshold violation counts, but that these reductions are not consistently reflected under the fixed threshold or in global fairness metrics. In the constrained ranking setting, static fairness instructions achieve comparable semantic-parity outcomes to FACTER's dynamic repair loop, suggesting that the additional online repair mechanism provides limited benefit in this formulation. All code and reproduction artifacts are available at https://github.com/oscar-omlf/facter-repr.
- Abstract(参考訳): Fayyazi et al (2025) は最近 FACTER というモデルに依存しないフレームワークを提案している。
本研究では,FACTERフレームワークを多種多様なアーキテクチャやデータセットの疎度レベルにわたって再現し,本来のオープンエンド生成タスクと制約付き再ランク拡張の両方を評価する。
厳密な再現の下では,推薦ユーティリティのばらつきが観察され,元の研究では未特定目標設定評価に追随した。
次に、制約付き再ランク設定を用いて、候補セットが固定されたときにFACTERを評価し、静的なFair Zero-Shotベースラインを導入し、反復的なプロンプト修復ループの寄与を分離する。
分析の結果,FACTERは適応閾値違反数を常に減少させるが,これらの減少は固定閾値や大域的公正度基準の下では一定に反映されないことがわかった。
制約付きランキング設定では、静的フェアネス命令はFACTERの動的修復ループに匹敵するセマンティックパーティ結果を達成する。
すべてのコードと再現アーティファクトはhttps://github.com/oscar-omlf/facter-repr.comで入手できる。
関連論文リスト
- Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards [6.002323709229882]
大規模言語モデル(LLM)は、自動エッセイスコア(AES)と自動フィードバック生成(AFG)に広く応用されている。
RLによるエッセイ評価とフィードバック生成を協調的に最適化する統一LLMフレームワークであるRLAESを提案する。
フィードバック品質を計測し、解釈し、トレーニングに役立てるために、RLに基づくフィードバック評価(RFE)を導入する。
論文 参考訳(メタデータ) (2026-07-21T15:49:02Z) - ARMOR: Stabilizing On-Policy LLM RL with Off-Policy Anchor Samples [65.74946647574696]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力を大幅に向上させた。
本研究では,この不安定性の重要源である過最適化について検討する。
我々は,このパラダイムを受動的ペナルティからアクティブ標本安定化に移行するフレームワークARMORを提案する。
論文 参考訳(メタデータ) (2026-07-11T21:22:46Z) - Non-Parametric Rehearsal Learning via Conditional Mean Embeddings [88.89267783967263]
本研究では,不必要な未来(AUF)問題をテキスト化するための非パラメトリックリハーサル学習手法を提案する。
具体的には、カーネル機械を用いてAUFの目的を、動作誘起分布変化から所望性モデリングを遠ざける統一表現に再構成する。
論文 参考訳(メタデータ) (2026-05-09T15:30:52Z) - Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria [17.272139541614383]
Auto-Rubric as Reward (ARR)は、暗黙の重み付け最適化から明示的な基準ベースの分解まで、報酬モデリングを再構成するフレームワークである。
ARRはVLMの選好知識をプロンプト固有の勾配として外部化し、全体論的意図を独立に検証可能な品質次元に変換する。
ARR-RPOは、テキスト・ツー・イメージ生成と画像編集のベンチマークにおいて、ペアワイズ報酬モデルとVLM判事より優れている。
論文 参考訳(メタデータ) (2026-05-08T18:05:27Z) - Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning [47.963236269307735]
リランカはRetrieval-Augmented Generationの検索結果の精錬において重要な役割を果たす。
現在のリグレードモデルは通常、ダウンストリーム生成プロセスから切り離された静的な人間アノテートされた関連ラベルに独立して最適化される。
本稿では,LLMの生成品質と直接整合する強化学習フレームワークであるReRanking Preference Optimization(RRPO)を紹介する。
論文 参考訳(メタデータ) (2026-04-02T14:19:47Z) - PAC-Bayesian Reward-Certified Outcome Weighted Learning [0.0]
結果重み付け学習(OWL)による最適個別化処理規則(ITR)の推定は、しばしば真に潜伏したユーティリティに対してうるさいあるいは楽観的なプロキシである観察された報酬に依存する。
PAC-Bayesian Reward-Certified Outcome Weighted Learning (PROWL)を提案する。
一方的な不確実性証明が与えられた場合、PROWLは真の期待値に基づいて、保守的な報酬と厳密なポリシーに依存した下限を構築する。
論文 参考訳(メタデータ) (2026-04-02T12:08:56Z) - Score-Guided Proximal Projection: A Unified Geometric Framework for Rectified Flow Editing [1.0312968200748118]
Rectified Flowモデルは最先端の世代品質を実現するが、正確なタスクのためにそれらを制御することは依然として困難である。
現在のアプローチは「幾何学的ロック」に苦しむ逆法に基づくガイダンスに分岐する
Score-Guided Proximal Projectionは,決定論的最適化と縮尺サンプリングのギャップを埋める統一フレームワークである。
論文 参考訳(メタデータ) (2026-03-05T23:44:45Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳(メタデータ) (2025-04-21T04:56:47Z) - FAIR-SIGHT: Fairness Assurance in Image Recognition via Simultaneous Conformal Thresholding and Dynamic Output Repair [4.825037489691159]
本稿では,コンフォメーション予測と動的出力修復機構を組み合わせることで,コンピュータビジョンシステムの公平性を確保するためのポストホックフレームワークを提案する。
提案手法は,予測誤差と公平性違反を同時に評価する,公平性を考慮した非整合性スコアを算出する。
新しい画像の非整合スコアがしきい値を超えると、FAIR-SIGHTは分類のためのロジットシフトや検出のための信頼度補正など、対象とする修正調整を実行する。
論文 参考訳(メタデータ) (2025-04-10T02:23:06Z) - Gumbel Reranking: Differentiable End-to-End Reranker Optimization [61.16471123356738]
RAGシステムは関連する文書を識別するためにリランカーに依存している。
注釈付きクエリ-ドキュメントペアが不足しているため、これらのモデルの微調整は依然として難しい。
我々は,トレーニングと推論のギャップを最小限に抑えることを目的とした,リランカーのためのエンドツーエンドのトレーニングフレームワークであるGumbel Re rankを提案する。
論文 参考訳(メタデータ) (2025-02-16T13:23:39Z) - FACTER: Fairness-Aware Conformal Thresholding and Prompt Engineering for Enabling Fair LLM-Based Recommender Systems [4.825037489691159]
LLMに基づくリコメンデーションシステムのためのフェアネス対応フレームワークであるFACTERを提案する。
適応的意味分散しきい値と違反トリガー機構を導入することにより、FACTERはバイアスパターンが現れるたびに自動的に公正性制約を厳格化する。
MovieLensとAmazonの実証的な結果は、FACTERが強い推奨精度を維持しつつ、フェアネス違反(最大95.5%)を大幅に低減していることを示している。
論文 参考訳(メタデータ) (2025-02-05T08:07:04Z) - Tight Mutual Information Estimation With Contrastive Fenchel-Legendre
Optimization [69.07420650261649]
我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。
実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。
FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
論文 参考訳(メタデータ) (2021-07-02T15:20:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。