論文の概要: Epistemic Stance Flexibility Probing: Measuring Prompt-Conditioned Register Shift in Large Language Models
- arxiv url: http://arxiv.org/abs/2607.12739v1
- Date: Tue, 14 Jul 2026 13:10:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.152251
- Title: Epistemic Stance Flexibility Probing: Measuring Prompt-Conditioned Register Shift in Large Language Models
- Title（参考訳）: エピステマティック・スタンス・フレキシビリティ・プロービング:大規模言語モデルにおけるprompt-conditioned Register Shiftの測定
- Abstract要約: 言語モデルは、議論された主張について専門家が何を信じるか、あるいは主張そのものについて何を信じるかを問うことができる。
本研究では,外部属性と自己分散プロンプトのコントラストを測定の基本単位として扱う行動ベンチマークであるESFPを紹介する。
- 参考スコア（独自算出の注目度）: 0.17188280334580197
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A language model may be asked either what experts believe about a contested claim or what it believes about the claim itself. A trustworthy conversational agent should distinguish these two requests and respond in different epistemic registers: neutral attribution in the first case and stance expression in the second. Whether such a shift occurs-and whether it occurs coherently-is not directly assessed by existing benchmarks for accuracy, instruction following, or safety. We introduce ESFP, a behavioral benchmark that treats the contrast between externally attributed and self-attributed prompts as the fundamental unit of measurement. ESFP consists of 104 carefully controlled items spanning six epistemic categories and five phrasing templates, and evaluates model responses along four complementary dimensions: lexical self-attribution, representation-level responsiveness to role framing, sentence-level stance content density assessed by an LLM judge panel, and cross-condition stance consistency. Evaluating eight frontier models from five vendors, we find that epistemic flexibility is largely orthogonal to general model capability: a 27B open-weight model matches the strongest proprietary systems, the flagship model of one family underperforms its lightweight counterpart, and reasoning-optimized models do not consistently exhibit higher flexibility. Stance content density provides the strongest signal, while surface-level lexical markers such as 'I think' can change substantially without corresponding changes in expressed stance. We provide item-level bootstrap confidence intervals, weight-sensitivity analyses, and an explicit discussion of the interpretation limits of the composite score. ESFP measures a model's propensity to adapt its epistemic stance under changing attribution conditions, rather than a general competence measure.
- Abstract（参考訳）: 言語モデルは、議論された主張について専門家が何を信じるか、あるいは主張そのものについて何を信じるかを問うことができる。
信頼できる会話エージェントは、これらの2つの要求を区別し、異なるてんかんレジスターで応答すべきである。
このようなシフトが発生するかどうか、そしてコヒーレントに発生するかどうかは、既存のベンチマークによって直接評価されない。
本研究では,外部属性と自己分散プロンプトのコントラストを測定の基本単位として扱う行動ベンチマークであるESFPを紹介する。
ESFPは、6つのてんかんカテゴリと5つの言い回しテンプレートにまたがる104個の注意深く制御された項目から構成され、語彙的自己帰属、ロールフレーミングに対する表現レベルの応答性、LLM判定パネルで評価された文レベルのスタンス内容密度、条件間のスタンス一貫性の4つの相補的な次元に沿ってモデル応答を評価する。
27Bのオープンウェイトモデルは、最強のプロプライエタリなシステムと一致し、一つのファミリーのフラッグシップモデルは、軽量なモデルよりもパフォーマンスが低く、推論最適化されたモデルは、常に高い柔軟性を示すわけではない。
スタンス含量密度は最強の信号を与える一方、「I think」のような表面レベルの語彙マーカーは、表現された姿勢の変化を伴わずに実質的に変化することができる。
本稿では,項目レベルのブートストラップ信頼区間,重量感度分析,複合スコアの解釈限界の明示的な議論について述べる。
ESFPは、一般的なコンピテンス尺度ではなく、帰属条件の変化の下で、その疫学的スタンスに適応するモデルの妥当性を測定する。
関連論文リスト
- CLAIM: Leading Open-domain Active Clarification of Large Language Models with Uncertainty Measurement [50.91045324738942]
CLAIMは、オープンドメイン環境でのアクティブな明確化学習のための不確実性駆動フレームワークである。
本研究では,不確実性推定とセマンティッククラスタリングと推論に基づく判断を統合したエントロピー駆動型合成データ生成パイプラインを提案する。
実験の結果,手動でラベル付けしたデータに頼ることなく,CLAIMが安定かつ一般化可能な明確化戦略を学習できることが確認された。
論文 参考訳（メタデータ） (2026-08-12T04:27:45Z) - DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。
我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
論文 参考訳（メタデータ） (2026-06-24T22:40:46Z) - A Two-Stage Statistical Framework for Evaluating Associative Interference in Large Language Models [0.0]
我々は、IAT(Implicit Association Test)を制御された強制選択フレームワークに適用する。
我々は3つの大きな言語モデル間の連想的干渉を評価する。
論文 参考訳（メタデータ） (2026-06-12T04:56:57Z) - VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence [26.0945130521806]
既存のベンチマークでは、テキストによる回答の正当性または画素レベルのローカライゼーションを分離して評価している。
本稿では,視覚的質問応答に基づく自由形式の回答正当性と画素レベルの証拠を共同評価するためのベンチマークであるVISTAQAを紹介する。
GROVEは, テキストの精度と接地品質を, サンプルごとの幾何平均で組み合わせることで, 関節の正しさを強制する指標である。
論文 参考訳（メタデータ） (2026-05-20T03:44:06Z) - Retrieval-Augmented Linguistic Calibration [57.41519309308438]
我々は,言語的信頼度を,文が正しいと認識される確率値の分布としてモデル化する。
Retrieval-Augmented Linguistic truth (RALC)は、信頼性信号を自然言語に伝達する軽量なポストホックパイプラインである。
論文 参考訳（メタデータ） (2026-05-19T04:31:38Z) - Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning [56.48520300004217]
本稿では、文脈干渉を内部の訓練信号に変換するセルフプレイのRLフレームワークであるSeyrnesを紹介する。
単一のモデルでは、可視的かつ気を散らすようなコンテキストの構築と、それ自身で盲点を露呈するように訓練されている。
これらの競合する目標を互いに衝突させることで、Sailnes氏は、表面的なパターンマッチングを超えてモデルを補完する。
論文 参考訳（メタデータ） (2026-05-12T06:58:35Z) - In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores [20.623498601506974]
標準化されたテストパラダイムは構造的に信頼性が低いことを示す。
制御された変動因子を多ラウンド対話に組み込む多エージェント対話フレームワークMAC-Fairnessを開発した。
In-situの行動評価は、フェアネスの目標と評価方法が異なるベンチマークで一般化できる安定したモデル固有の行動シグネチャを明らかにする。
論文 参考訳（メタデータ） (2026-04-21T18:38:50Z) - Is my model perplexed for the right reason? Contrasting LLMs' Benchmark Behavior with Token-Level Perplexity [6.285055089721361]
モデルが言語学的に関係のある手がかりに依存しているかどうかをテストするために,トークンレベルの難易度に基づく基本的解釈可能性フレームワークを導入する。
本手法は,不安定な特徴帰属技術に頼ることなく,正確な仮説駆動解析を可能にする。
論文 参考訳（メタデータ） (2026-03-31T08:00:55Z) - Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs [0.0]
PARROT (Persuasion and Agreement Robustness Rating of Output Truth) は、ユーザの社会的圧力下での精度の劣化を測定するための堅牢性にフォーカスしたフレームワークである。
我々は13のドメインにまたがる1,302のMMLUスタイルの多重選択質問とドメイン固有の権威テンプレートを用いて22のモデルを評価する。
論文 参考訳（メタデータ） (2025-11-21T13:01:28Z) - Perception-Consistency Multimodal Large Language Models Reasoning via Caption-Regularized Policy Optimization [72.30168853571216]
マルチモーダルな言語モデルは、視覚知覚と象徴的推論を統合するタスクに優れています。
CapPO は,(1) 原画像上の条件付き応答とキャプション上の条件付き応答のばらつきを最小限に抑えるキャプションベース整合性正規化,(2) KL 重み付き優位性推定スキームを適応的に拡張して知覚整合性トラジェクトリを強化するキャプションベース整合性正規化という2つの重要なメカニズムを統合した。
論文 参考訳（メタデータ） (2025-09-26T04:32:26Z) - Estimating Commonsense Plausibility through Semantic Shifts [66.06254418551737]
セマンティックシフトを測定することでコモンセンスの妥当性を定量化する新しい識別フレームワークであるComPaSSを提案する。
2種類の細粒度コモンセンス可視性評価タスクの評価は,ComPaSSが一貫してベースラインを上回っていることを示している。
論文 参考訳（メタデータ） (2025-02-19T06:31:06Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。