論文の概要: When Pointing Becomes Profiling: Social Bias and Refusal in Text-Steerable Visual Encoders

• arxiv url: http://arxiv.org/abs/2610.35017v1
• Date: Mon, 26 Oct 2026 08:29:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.796133
• Title: When Pointing Becomes Profiling: Social Bias and Refusal in Text-Steerable Visual Encoders
• Title（参考訳）: ポインティングがプロファイリングになるとき--テキストステアブルなビジュアルエンコーダにおける社会的バイアスと拒否
• Abstract要約: テキストステアブルなビジュアルエンコーダは、自然言語のプロンプトと一致する画像領域のポイントに凍結されたビジョン変換器を条件とする。 我々は、リリースしたSteerViTモデルを監査し、そのステアリングインターフェースが言語駆動の視点を人口統計学的プロファイリングに変換することを発見した。 コード、ベンチマーク、キュレートされたモザイクセットがリリースされる。
• 参考スコア（独自算出の注目度）: 2.4922739987890767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-steerable visual encoders condition a frozen Vision Transformer on a natural-language prompt and point at the matching image region, producing prompt-conditioned heatmaps and features. We audit the released SteerViT model and find that its steering interface turns language-driven pointing into demographic profiling. On counterfactual face mosaics and real multi-person photographs, "the person" selects a man more often than the base rate, crime words select Black people more often than occupation words do, "the man" among four women selects the Black woman 75.6% of the time on SocialCounterfactuals, and "the monkey" selects Black people. None of them is in the backbone's unsteered saliency, and the crime association is not in the frozen text encoder; the race effects grow with steering strength and enter through the last two cross-attention layers: giving the prompt to those layers alone reproduces them. Four other grounding models, CLIPSeg, Grounding-DINO, SAM 3, and Qwen2.5-VL, show no crime routing and weaker race routing. The model cannot refuse. Its patch softmax must place its mass somewhere, and its heatmap separates a groundable request ("the police officer") from one that is absent ("the pizza") or that would require a stereotyped demographic inference ("the criminal") only at chance (AUROC 0.52). We introduce SafeSteer, which adds a learned abstention output and counterfactual-invariance training on the same 23M steering parameters. SafeSteer separates should-point from should-abstain prompts at AUROC 0.997, generalizes to held-out sensitive and absent words (0.998; at a 0.5 threshold it refuses 99.8% of trained and 62% of held-out sensitive words) with no over-refusal of visible people on the benchmark, and removes most race routing while keeping localization and retrieval within 1 point of the released model. Code, benchmarks, and the curated mosaic sets will be released.
• Abstract（参考訳）: テキストステアブルなビジュアルエンコーダは、自然言語のプロンプトと一致する画像領域の点に凍結したビジョントランスフォーマーを条件付けし、プロンプト条件のヒートマップと特徴を生成する。 我々は、リリースしたSteerViTモデルを監査し、そのステアリングインターフェースが言語駆動の視点を人口統計学的プロファイリングに変換することを発見した。 反現実的な顔モザイクや実際の複数人の写真では、「人物」は基準よりも頻繁に男性を選び、犯罪語は職業的な言葉よりも黒人を、男性」は4人の女性のうち75.6%が黒人女性を、サルは黒人を選出する。 いずれも背骨の無力なサリバンスには存在せず、犯罪協会は凍結したテキストエンコーダには存在せず、レース効果はステアリングの強さとともに成長し、最後の2つのクロスアテンション層に侵入する:これらの層にプロンプトを与えるだけでそれらを再現する。 他にもCLIPSeg、Grounding-DINO、SAM 3、Qwen2.5-VLの4つのグラウンドモデルでは、犯罪ルーティングがなく、レースルーティングも弱い。 モデルは拒否できない。 パッチソフトマックスは質量をどこかに配置し、ヒートマップは根拠のある要求(「警察官」)と不在な要求(「ピザ」)、あるいは偶然にのみステレオタイプによる人口推定(「犯罪者」)とを分離する(「AUROC 0.52」)。 SafeSteerを導入し、同じ23Mのステアリングパラメータで学習された禁忌出力と対実的不変性トレーニングを追加する。 SafeSteer は、AUROC 0.997 の should-abstain プロンプトから should-point を分離し、ホールトアウトセンシティブな単語(0.998;0.5しきい値では、トレーニングされた単語の99.8%とホールトアウトセンシティブな単語の62%を、ベンチマーク上の可視者の過剰な拒絶なしに拒否し、ローカライゼーションと検索をリリースモデルの1ポイントに保ちながら、ほとんどのレースルーティングを削除する。 コード、ベンチマーク、キュレートされたモザイクセットがリリースされる。

関連論文リスト

• Does Model Uncertainty Track Human Ambiguity? Evidence from Multi-Annotator Vision Benchmarks [1.253312107729806]
  モデルが、人間が困難なと感じているのと同じ事例で苦労しているかどうかを調査する。 3つのアーキテクチャにまたがる8つの事前訓練モデルを評価する。 両次元においてアライメントが弱いことが分かる。
  論文  参考訳（メタデータ） (2026-09-28T07:51:31Z)
• Creating an Atomic User Model for Personality-Aware Large Language Model Interaction [0.0]
  本論文は、パーソナリティ・インプットと呼ばれる効果について述べる。 プロンプトの言葉には、作家の性格の痕跡が残されている。 プロファイル全体を挿入する代わりに、AUMを検索可能なインデックスとして使用しています。
  論文  参考訳（メタデータ） (2026-09-10T18:11:43Z)
• AffectOmni: RL-Verifiable People-Centric Grounded Affective Reasoning for Social and Art-Related Scenes [59.134503227559634]
  マルチモーダル大言語モデル(MLLM)は,VQAとシーン理解において高い性能を発揮する。 モデルは、マイクロ表現やボディランゲージのような人中心の手がかりを無視しながら、正しい答えを予測できる。 本稿では、感情的推論を検証可能なフレームワークであるAffect Omniを提案する。
  論文  参考訳（メタデータ） (2026-08-24T11:25:04Z)
• Readable, Faithful, Used: Three Dissociable Properties of Demographic Identity in a Language Model [0.0]
  我々は、大きな言語モデルの中で、人口集団のアイデンティティがどこにあるのかを尋ねる。 私たちはMistral-7Bで1,089の読み出し位置を記録し、6つのタイプに因果的に介入した。 単一の頭部の128次元のプローブは、モデル自身の答えよりも21-31%近くまで到達した。
  論文  参考訳（メタデータ） (2026-08-19T10:25:11Z)
• Measuring Obedience to Authority Across Large Language Models with the Milgram Paradigm [0.5414847001704247]
  大規模言語モデル(LLM)は、機器を操作し、指示を実行し、制度上の階層の中で機能するエージェントとして、ますます多くデプロイされている。 我々は、Milgramの服従パラダイムを、標準化され、完全にスクリプト化され、レプリカブルなプローブとしてLLMに移植する。 本研究では,19家族の42モデルに対して,6条件のバッテリ上での服従プロファイル,経験的ブレイクオフ分布を測定した。
  論文  参考訳（メタデータ） (2026-08-17T06:48:53Z)
• Measuring Social Bias in Vision-Language Models with Face-Only Counterfactuals from Real Photos [79.03150233804458]
  現実のイメージは人種と性別を混在させ、背景や衣服などの関連要因や属性を隠蔽する。 テキストのみの対実的評価パラダイムを提案する。 我々は、人種や性別に関連する顔属性のみを編集し、他の視覚的要素を全て固定することで、反事実的変異を生成する。
  論文  参考訳（メタデータ） (2026-01-11T14:35:06Z)
• Reinforcing Stereotypes of Anger: Emotion AI on African American Vernacular English [46.47177439553625]
  本研究は、一般アメリカ英語(GAE)と比較して、アフリカ系アメリカ人言語英語(AAVE)における感情認識モデルの性能について検討する。 ロサンゼルスでは270万のツイートがジオタグ付けされている。 アフリカ系アメリカ人の住民の割合が高い地区は怒りの予測が大きくなることが観察された。
  論文  参考訳（メタデータ） (2025-11-13T23:13:08Z)
• Beyond Survival: Evaluating LLMs in Social Deduction Games with Human-Aligned Strategies [54.08697738311866]
  Werewolfのようなソーシャル推論ゲームは、言語、推論、戦略を組み合わせている。 我々は,100時間以上のビデオ,32.4M発声トークン,15の規則変種を含む高品質で人間認証されたWerewolfデータセットをキュレートした。 本稿では,勝利派戦略を2段階の真理として活用する新たな戦略調整評価法を提案する。
  論文  参考訳（メタデータ） (2025-10-13T13:33:30Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Hidden Footprints: Learning Contextual Walkability from 3D Human Trails [70.01257397390361]
  現在のデータセットは、人々がどこにいるか、どこにいるかを教えてくれません。 まず、画像間で人の観察を伝播させ、3D情報を利用して、私たちが「隠れ足跡」と呼ぶものを作成することで、有効なラベル付き歩行可能領域の集合を拡大する。 このようなスパースラベルのために設計されたトレーニング戦略を考案し、クラスバランスの分類損失と文脈逆転損失を組み合わせた。
  論文  参考訳（メタデータ） (2020-08-19T23:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。