論文の概要: Beyond Bias Scores: Answerability Confounds in Activation Steering with Gradient-Constrained Direction Design (GCD)
- arxiv url: http://arxiv.org/abs/2610.17641v1
- Date: Tue, 13 Oct 2026 03:09:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.496815
- Title: Beyond Bias Scores: Answerability Confounds in Activation Steering with Gradient-Constrained Direction Design (GCD)
- Title（参考訳）: バイアススコアを超えて: 勾配制約方向設計(GCD)によるアクティベーションステアリングにおける解答可能性
- Abstract要約: 言語モデル評価におけるバイアススコアは、モデルが何を好むか、それが全く答えるかどうかをよく説明します。
テキストscBBQでは,不明瞭なスコアが応答性や署名された嗜好に分解される。
本稿では,1次未知のロジット制約を持つオプション勾配構造であるグラディエント制約指向設計(textscGCD)を紹介する。
- 参考スコア（独自算出の注目度）: 2.8290619013666416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bias scores in language-model evaluations often conflate what a model prefers with whether it answers at all. We identify this confound in \textsc{BBQ}, whose ambiguous score factorizes into answerability and signed preference. Across 11 categories, 28,}824 items, and five models, contrastive steering lowers the signed ambiguous score in 11/11 categories but lowers the signed disambiguated preference score in only 8/11. Across 99 configurations, the answerability channel exceeds half of the observed score change in 17\% and accounts for the entire change in 11%. In a six-category disambiguated evaluation, 20.8\% of 1,500 items flip to the unknown option, where abstention is incorrect; \textsc{StereoSet} shows no analogous answer-rate shift. The effect reflects selection and near-orthogonality between the contrastive and preference-gradient directions. We introduce Gradient-Constrained Direction Design (\textsc{GCD}), an option-gradient construction with a first-order unknown-logit constraint. Under a matched Qwen-7B protocol, GCD reduces answer-rate distortion 14-fold and yields a 4-fold larger preference change, while ablations show similar gains for alternative and unconstrained option-gradient directions; nulling the unknown gradient alone is not responsible for the gain. We recommend reporting answerability alongside published scores.
- Abstract（参考訳）: 言語モデル評価におけるバイアススコアは、モデルが何を好むか、それが全く答えるかどうかをよく説明します。
ここでは,不明瞭なスコアが応答性や署名された嗜好に分解される「textsc{BBQ}」において,この相同点を同定する。
11のカテゴリー、28,824の項目、5つのモデルにおいて、対照的なステアリングは、符号付きあいまいスコアを11/11のカテゴリで低くするが、符号付きあいまいな選好スコアをわずか8/11で下げる。
99以上の構成では、回答可能性チャネルは17 %で観測されたスコアの変化の半分を超え、11%で全体の変更を考慮に入れている。
6カテゴリの曖昧な評価では、1500項目のうち20.8\%が未知のオプションに切り替えられ、そこでは禁忌が正しくない。
この効果は、対照的な方向と選好段階の方向の間の選択とほぼ直交性を反映する。
本稿では,1次未知のロジット制約を持つオプション勾配構造であるグラディエント制約指向設計(\textsc{GCD})を紹介する。
一致したQwen-7Bプロトコルの下では、GCDは応答速度の歪みを14倍に減らし、4倍の好みの変化をもたらす。
回答可能性の報告と公開スコアの報告を推奨する。
関連論文リスト
- Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳（メタデータ） (2026-10-13T16:19:49Z) - Self-Repulsive Sampling for Diffusion Language Models [42.61658629762382]
Self-Repulsion (SR) は、マスク付き拡散言語モデルのサンプルである。
パスはバッチ化されたフォワードパスを共有し、次に順番にコミットする。
投票の得票率は、主に正しい回答のより高いカバレッジから生じる。
論文 参考訳（メタデータ） (2026-09-30T11:58:40Z) - CounterSteer: Suppressing Indirect Prompt Injection with Activation Steering [4.1626636325601405]
間接的なプロンプトインジェクションにより、エージェントは信頼できない検索されたテキストを命令として扱う。
モデル内のこの振る舞いを抑える推論時間ディフェンスであるCounterSteerを提案する。
論文 参考訳（メタデータ） (2026-09-29T02:51:31Z) - Symmetry-Aware Likelihood-Orbit Aggregation for Selective Left-Right Claim Verification [14.108900142001628]
クローズド形式のコントラストであるRelation-Orbitを導入する。
VSRとGQAの4つの凍結された視覚言語モデルでは、Relation-Orbitは10%選択リスクキャリブレーションターゲットで平均テストカバレッジを高くする。
論文 参考訳（メタデータ） (2026-09-15T11:19:03Z) - Does Reasoning Improve Psychological Depth in Large Language Models? It Depends on Who's Judging [41.62710134204231]
短い物語において、心理学的深度を通して失敗モードを研究する。
審査員の、その開発セットにおける人間の評価との相関は、アウトプットが密に一致し、人間の嗜好が主観的である場合、有効な測定を保証できない可能性がある。
これらの結果から, 開発段階の性能は, シフト分布におけるデプロイメントの有効性の証拠として不十分であることが示唆された。
論文 参考訳（メタデータ） (2026-09-12T07:34:54Z) - Decomposing Wrong-Consensus Agreement in LLM Self-Consistency: A GPT-4.1 Case Study [1.2716872085463884]
複数のLSMサンプルに対する多数決投票は、回答の正確性を高めるために広く用いられているが、その利得は不規則に異なる。
本稿は、この失敗を定量的に分析する。
論文 参考訳（メタデータ） (2026-08-19T10:50:15Z) - GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。
5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。
解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
論文 参考訳（メタデータ） (2026-08-03T17:55:24Z) - Selection Shapes the Boundary: A Preregistered Replication of Monotonicity and Label Agreement in Unselected NLI Populations [1.9177583131035885]
以前の研究では、上向きの単調性演算子を含む仮説はラベルの一致が低かった。
我々は,同じオペレータタグと4段階の順序一致結果を用いて,この境界の複製を事前登録した。
より初期の負の境界は、人口レベルの特性よりも低アグリメント選択に条件づけられた構造であると結論付けている。
論文 参考訳（メタデータ） (2026-07-21T16:03:05Z) - ContraPrompt: Contrastive Prompt Optimization via Dyadic Reasoning Trace Analysis [0.6372261626436676]
ContraPromptは、モデルが失敗してもフィードバックで再試行を成功させる場合、その差が最適化信号を構成するという観測に基づいて構築される。
従来のコントラスト法とは異なり、完全な中間的推論過程を比較する。
ContraPromptは11日にGEPAを41で破り、同じ予算で1で敗れた。
論文 参考訳（メタデータ） (2026-04-20T08:17:15Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳（メタデータ） (2026-03-02T13:02:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。