論文の概要: Auditing LLMs for Algorithmic Fairness in Casenote-Augmented Tabular Prediction

• arxiv url: http://arxiv.org/abs/2604.19204v1
• Date: Tue, 21 Apr 2026 08:09:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.680892
• Title: Auditing LLMs for Algorithmic Fairness in Casenote-Augmented Tabular Prediction
• Title（参考訳）: 音符拡張語句予測におけるアルゴリズムフェアネスのためのLLMの検討
• Authors: Xiao Qi Lee, Ezinne Nwankwo, Angela Zhou,
• Abstract要約: LLMは、高度なソーシャルサービス設定における予測タスクとして、ますます検討されている。 実住宅配置予測タスクにおいて, LLMに基づく表型分類のアルゴリズム的公正性を評価する。 ケースノートの要約を付加した微調整モデルでは,アルゴリズムの公平さの相違を低減し,精度の向上が期待できる。
• 参考スコア（独自算出の注目度）: 6.805575417034369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs are increasingly being considered for prediction tasks in high-stakes social service settings, but their algorithmic fairness properties in this context are poorly understood. In this short technical report, we audit the algorithmic fairness of LLM-based tabular classification on a real housing placement prediction task, augmented with street outreach casenotes from a nonprofit partner. We audit multi-class classification error disparities. We find that a fine-tuned model augmented with casenote summaries can improve accuracy while reducing algorithmic fairness disparities. We experiment with variable importance improvements to zero-shot tabular classification and find mixed results on resulting algorithmic fairness. Overall, given historical inequities in housing placement, it is crucial to audit LLM use. We find that leveraging LLMs to augment tabular classification with casenote summaries can safely leverage additional text information at low implementation burden. The outreach casenotes are fairly short and heavily redacted. Our assessment is that LLM zero-shot classification does not introduce additional textual biases beyond algorithmic biases in tabular classification. Combining fine-tuning and leveraging casenote summaries can improve accuracy and algorithmic fairness.
• Abstract（参考訳）: LLMは高度なソーシャルサービス設定における予測タスクとしてますます検討されているが、この文脈におけるアルゴリズム的公正性はあまり理解されていない。 本報告では,LLMをベースとした表型分類のアルゴリズム的公正さを実住宅配置予測タスクで評価する。 マルチクラス分類誤差の相違を監査する。 ケースノートの要約を付加した微調整モデルでは,アルゴリズムの公平さの相違を低減し,精度の向上が期待できる。 本研究は,ゼロショット表型分類における変数重要度の向上を実験し,結果のアルゴリズム的公正性について混合結果を求める。 総合的に、住宅配置の歴史的不平等を考えると、LCMの使用を監査することが不可欠である。 LLMの活用により,実装負担の少ないテキスト情報を安全に活用できることが判明した。 アウトリーチのケースノートはかなり短く、大幅に改訂されている。 我々の評価では、LLMゼロショット分類は、表層分類におけるアルゴリズムバイアス以外の追加のテキストバイアスを導入しない。 微調整とケースノートの要約の活用により、精度とアルゴリズムの公正性が向上する。

関連論文リスト

• Group Fairness Meets the Black Box: Enabling Fair Algorithms on Closed LLMs via Post-Processing [14.622788745587815]
  本稿では,閉じた LLM からフェア分類器をプロンプトにより導出するためのフレームワークを提案する。 我々のフレームワークはデータ効率が高く、LLM埋め込みで訓練された公平な分類器よりも優れています。
  論文  参考訳（メタデータ） (2025-08-15T06:50:29Z)
• Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
  我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。 データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。 最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
  論文  参考訳（メタデータ） (2025-06-16T10:32:10Z)
• In a Few Words: Comparing Weak Supervision and LLMs for Short Query Intent Classification [4.037445459586932]
  ユーザ意図の分類を,情報カテゴリ,ナビゲーションカテゴリ,トランザクションカテゴリに経験的に比較する。 以上の結果から,LSMはリコール時の監督能力が劣る一方で,精度の低下に悩まされ続けていることが示唆された。
  論文  参考訳（メタデータ） (2025-04-30T07:54:04Z)
• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• Optimizing Class-Level Probability Reweighting Coefficients for Equitable Prompting Accuracy [12.287692969438169]
  LLMは、事前訓練されたデータの統計正則性からのバイアスをしばしば発見する。 これは、分類とQAにおいて、永続的で不均一なクラス精度をもたらす。 本研究では,非微分不可能な性能駆動メトリクスを直接最適化するポストホック確率再重み付け手法を開発した。
  論文  参考訳（メタデータ） (2024-05-13T10:30:33Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• BooookScore: A systematic exploration of book-length summarization in the era of LLMs [53.42917858142565]
  我々は,識別されたエラータイプを一切含まない要約文の割合を計測する自動測度BooookScoreを開発した。 GPT-4 や 2 のようなクローズドソース LLM は,オープンソースモデルよりも BooookScore の高いサマリーを生成することがわかった。
  論文  参考訳（メタデータ） (2023-10-01T20:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。