論文の概要: Auditing Stance Asymmetry in Generative Explanations
- arxiv url: http://arxiv.org/abs/2605.27988v1
- Date: Wed, 27 May 2026 05:22:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.768103
- Title: Auditing Stance Asymmetry in Generative Explanations
- Title(参考訳): 生成的説明における聴取スタンス非対称性
- Authors: Jiarui Han,
- Abstract要約: オープンエンドの説明は、責任、正当性、文脈、欲求を割り当てることで解釈を導く。
モデルは、一方を構造的に理解し、他方を個人的に失敗、過剰反応、あるいは真面目に考える価値の低いものにしながら、敵対的な言語を避けることができる。
本研究では, 具体的グループラベル, 構造的ロールリライト, 明示的サポート, 逆エビデンスとの組み合わせを検証したSDE(Symmetry Decomposition Evaluation)を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bias evaluation for language models has made substantial progress on bounded comparisons, such as overt derogation, stereotype association, or label-sensitive differences under controlled substitutions. Open-ended explanations raise a different problem: they guide interpretation by assigning responsibility, legitimacy, context, and grievance. A model can avoid hostile language while making one side structurally understandable and another personally at fault, overreacting, or less worth taking seriously. We call this stance-bearing asymmetry in generative explanations. We propose Symmetry Decomposition Evaluation (SDE), which tests paired situations with concrete group labels, structural-role rewrites, and explicit support or counter-evidence. In a controlled 32-family prototype suite, this decomposition shows that surface differences are not all alike: some weaken under structural or evidence control, while others remain as stable differences in how the model assigns blame, context, or legitimacy. Targeted case review and judge comparison suggest a broader difficulty for evaluating open-ended framing asymmetries: judge readings shift across operationalizations, and scalar scores can flatten distinctions that readers use to interpret explanatory stance. SDE therefore reframes generative bias evaluation as an audit of explanatory stance -- what stance each side receives, how it changes under decomposition, and where automatic scoring becomes unstable.
- Abstract(参考訳): 言語モデルに対するバイアス評価は、オーバート・デロゲーション、ステレオタイプ・アソシエーション、または制御された置換の下でのラベルに敏感な差異など、有界な比較に大きく進歩している。
オープンエンドの説明は、責任、正当性、文脈、欲求を割り当てることで解釈を導くという、別の問題を引き起こす。
モデルは、一方を構造的に理解し、他方を個人的に失敗、過剰反応、あるいは真面目に考える価値を減らしながら、敵対的な言語を避けることができる。
我々は、生成的説明において、このスタンスを持つ非対称性を呼ぶ。
本研究では, 具体的グループラベル, 構造的ロールリライト, 明示的サポート, 逆エビデンスとの組み合わせを検証したSDE(Symmetry Decomposition Evaluation)を提案する。
制御された32ファミリーのプロトタイプスイートでは、この分解は表面の違いが全て似ているわけではないことを示している。
選択された事例レビューと判断比較は、オープンエンドフレーミングの非対称性を評価する上で、より広範な困難を示唆している: 判断の読みは、運用間を移動し、スカラースコアは、読者が説明的スタンスを理解するために使用する区別をフラットにする。
したがって、SDEは生成バイアス評価を説明的スタンス(説明的スタンス)の監査として再設定する。
関連論文リスト
- A Mechanistic Study of Tabular Foundation Models [12.26738662548555]
タブラル基礎モデルは、様々な分類タスクと回帰タスクに精度で収束する。
これは、リーダーボードが答えられない疑問を引き起こす。
i)モデルが同一のコンテキスト内アルゴリズムを実行するかどうか,(ii)行,列,およびクラス置換不変性が生じるか,および(iii)モデルが推論されたメカニズムに対してエンジニアリングされた摂動下にあるか,の3つを特徴付ける。
論文 参考訳(メタデータ) (2026-05-20T15:23:16Z) - The Evaluation Game: Beyond Static LLM Benchmarking [2.168753020470345]
本稿では,評価者とトレーナーの相互作用を2人プレイヤゲームとして形式化するゲーム理論フレームワークを提案する。
モデルの局所性依存性を示す実証的証拠を提供する。
ベンチマークは静的なプロンプトのセットではなく,評価者のグループアクションの下での軌道である。
論文 参考訳(メタデータ) (2026-05-19T05:22:21Z) - Structured Disagreement in Health-Literacy Annotation: Epistemic Stability, Conceptual Difficulty, and Agreement-Stratified Inference [0.8252603363637361]
パースペクティビストのアプローチは、不一致を誤認ではなく、潜在的に有益な情報として扱う。
エクアドルとペルーで収集された6,323件の健康・リテラシーアノテーションの大規模分析を行った。
国、教育、都市と農村の違いを含む社会科学的な重要な影響は、規模が大きく異なり、場合によってはアノテーション間の合意のレベルを越えて逆向きになる。
論文 参考訳(メタデータ) (2026-04-21T19:45:16Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳(メタデータ) (2026-04-21T15:05:58Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳(メタデータ) (2026-02-04T15:13:35Z) - More or Less Wrong: A Benchmark for Directional Bias in LLM Comparative Reasoning [10.301985230669684]
本研究では,大規模言語モデルにおける意味的キュー形状推論のメカニズムについて検討する。
我々は300の比較シナリオのベンチマークであるMathCompを紹介する。
モデル誤差は、しばしば言語的ステアリングを反映し、プロンプトに存在する比較項への体系的なシフトを反映している。
論文 参考訳(メタデータ) (2025-06-04T13:15:01Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳(メタデータ) (2025-04-21T04:56:47Z) - The simulation of judgment in LLMs [32.57692724251287]
大規模言語モデル(LLM)は、情報フィルタリングから説明と信頼性の判断を通じて知識ギャップの評価と対処に至るまで、評価プロセスに組み込まれている。
これにより、このような評価がどのように構築されるのか、どのような仮定に依存しているのか、その戦略が人間のものとどのように異なるのかを調べる必要が生じる。
我々は、専門家の評価に対して、6つのLCM(NewsGuardとMedia Bias/Fact Check)と、制御された実験を通して収集された人間の判断に対してベンチマークを行った。
論文 参考訳(メタデータ) (2025-02-06T18:52:10Z) - Evaluating the Robustness of Interpretability Methods through
Explanation Invariance and Equivariance [72.50214227616728]
解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。
特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
論文 参考訳(メタデータ) (2023-04-13T17:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。