論文の概要: Moral Entropy: Auditing Bias and Uncertainty in Moral Judgment
- arxiv url: http://arxiv.org/abs/2609.21992v1
- Date: Fri, 18 Sep 2026 16:51:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.19402
- Title: Moral Entropy: Auditing Bias and Uncertainty in Moral Judgment
- Title(参考訳): 道徳的エントロピー:道徳的判断におけるバイアスと不確実性について
- Abstract要約: モラルエントロピー(Moral Entropy)は、エントロピーをアレタリック不確実性に分解するフレームワークである。
あらゆるコンセンサスルールを、校正された根拠の真実に対して監査することができる。
3つのコーパスと15の談話領域にまたがって、この後部に対する標準集約ルールを監査すると、バイアスが明らかになる。
- 参考スコア(独自算出の注目度): 0.6091702876917279
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Most work in computational ethics treats annotator disagreement on moral content as noise to be voted away, collapsed into majority vote or the more permissive any-annotator rule the moment a single annotator flags an item. We argue this uncertainty should instead be modeled and learned from. We introduce Moral Entropy, a Bayesian framework that keeps a full posterior over the true label and decomposes its entropy into aleatoric uncertainty (irreducible disagreement about the moral content) and epistemic uncertainty (from insufficient or noisy annotation) -- and lets any heuristic consensus rule be audited against a calibrated ground truth via entropy methods such as cross-entropy/KL, Brier score, and expected calibration error. Across three corpora and fifteen discourse domains, auditing the standard aggregation rules against this posterior reveals bias that no current pipeline reports: the any-annotator rule disagrees with the calibrated posterior on roughly 30% of items -- pooled, almost entirely false positives, though the errors invert at the foundation level (19.9%/38.9% mean FPR/FNR on MFTC) -- while the stricter majority and two-vote rules miss 63-83% of true positives.
- Abstract(参考訳): 計算倫理学におけるほとんどの研究は、アノテーターが道徳的内容について意見の相違を論じている。
この不確実性をモデル化し、そこから学ぶべきだ、と私たちは主張する。
モーラル・エントロピー(Moral Entropy)は,真のラベルの完全な後部を保ち,そのエントロピーをアラート的不確実性(道徳的内容の不一致の認識)とエピステマティック不確実性(不十分あるいはノイズの多いアノテーションから)に分解し,任意のヒューリスティックなコンセンサスルールを,クロスエントロピー/KL,ブライアスコア,期待キャリブレーション誤差などのエントロピー手法を通じて,校正された基底真実に対して監査できるようにする。
3つのコーパスと15の談話領域で、この後部に対する標準集約ルールを監査すると、現在のパイプラインが報告していないバイアスが明らかになる: 任意のアノテーションルールは、約30%の項目で校正後部と矛盾する -- プール化され、ほぼ完全に偽陽性であるが、基礎レベルでのエラー(19.9%/38.9%はMFTCのFPR/FNR)は、厳格な多数と2票ルールは63~83%を欠いている。
関連論文リスト
- Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute [0.4310167974376404]
オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。
我々は,実行前の基準下での両使用量を評価した。
検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
論文 参考訳(メタデータ) (2026-09-17T09:17:00Z) - TTPO: Test-Time Policy Optimization [53.81524570216593]
テストタイムポリシー最適化(TTPO)は、OPSDを介してロールアウトに同意し、Grouped RLと不一致なロールアウトを罰する非対称な目的である。
TTPOは5つの競合レベルのベンチマークでラベル管理されたOPSDと一致し、Qwen3-1.7Bは38.0%から45.2%まで上昇し、思考せずに+25.2%から+36.4%に上昇し、クロスタスクの一般化を示す。
論文 参考訳(メタデータ) (2026-08-27T17:58:10Z) - JuryProbe: An Empirical Consensus-Risk Diagnostic for Routing Reference-Free Factuality Judge Panels to Grounded Verification [4.583541422554719]
JuryProbeは、基準のない事実性判断パネルのための実証的なコンセンサスリスク診断である。
偽陰性(FNのみ)判定相関と偽コンセンサスリフトを用いたラベル付き校正プローブからコンセンサスリスクを推定する。
論文 参考訳(メタデータ) (2026-08-20T23:11:55Z) - Lottery Tickets Are Not Deployment Tickets [4.230349220081444]
我々は、下流決定論理を再構成することなく、精度に適合した宝くじ券または他のスパースチャレンジャーが、既存の高密度モデルを置き換えることができるかどうかを検討する。
実験全体を通して、スパース候補は繰り返し密度参照精度を回復するが、行動学的に異なるままである。
固定閾値ポリシー診断を備えた小さなギャップ設定では、宝くじの交換は受け入れレビュー決定の7%から10%に変化する。
論文 参考訳(メタデータ) (2026-07-29T15:25:19Z) - PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
PerceptionRubricsはルーブリックベースの評価フレームワークである。
飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。
1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
論文 参考訳(メタデータ) (2026-06-26T17:59:15Z) - Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。
推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。
これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
論文 参考訳(メタデータ) (2026-06-09T16:14:27Z) - Beyond Accuracy: Policy Invariance as a Reliability Test for LLM Safety Judges [26.595399077062638]
LLM-as-a-Judgeパイプラインは、エージェント安全性のデファクト評価器となっている。
既存のベンチマークでは、評定がエージェントの行動に依存するか、それとも単に評価方針がどう語られるかをチェックすることなく、その評定を根底からのプロキシとして扱う。
我々は、証明された等価な書き換えの下でのルーブリック・セマンティック不変性、意図的な厳密なシフトの下でのルーブリック・スレッショルド不変性、曖昧さを意識したキャリブレーションの3つの検証可能な原則として運用する。
論文 参考訳(メタデータ) (2026-05-07T12:49:09Z) - The Confidence Gate Theorem: When Should Ranked Decision Systems Abstain? [0.0]
ランク付けされた決定システムは、いつランク付けされたアウトプットに介入するか、いつ停止するかを判断しなければならない。
信頼に基づく棄権が意思決定の質を単調に改善し、いつ失敗するかを考察する。
論文 参考訳(メタデータ) (2026-03-10T17:44:10Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳(メタデータ) (2026-02-04T15:13:35Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳(メタデータ) (2025-09-25T13:04:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。