論文の概要: STONIC: A Layered Measurement Contract for LLM Value Profiling
- arxiv url: http://arxiv.org/abs/2608.23411v1
- Date: Mon, 24 Aug 2026 15:55:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.189197
- Title: STONIC: A Layered Measurement Contract for LLM Value Profiling
- Title（参考訳）: STONIC: LLM値プロファイリングのための層計測契約
- Abstract要約: これは、独立して評価された応答、相反する矛盾の下で選択された選択、自発的な答え、そしてモデル自身の回答と権限のある選択肢の間の後の選択を比較します。
使用可能な行動データを備えた17の構成のうち10は、銀行間の支持-選択関係を維持している。
200 L3レスポンスの3方向アノテーションは、セマンティック監査のタスクローカルチェックを提供する。
- 参考スコア（独自算出の注目度）: 33.72751145910978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM value studies often merge questionnaire ratings, pairwise choices, and values inferred from generated text into one profile. That merge assumes that the three observations describe the same stable preference. STONIC tests this assumption on 5,144 situations from four banks and 35 fixed model configurations. It compares responses rated in isolation, choices made under counterbalanced conflict, spontaneous answers, and later choices between a model's own answer and authored alternatives. 10 of 17 configurations with usable behavioral data preserve the endorsement-choice relation across banks. Every one of the 17 eligible configurations prefers its own earlier answer (median effect 0.790), although option position changes the choice rate in every eligible configuration. Profile shape transfers most strongly from ratings to conflict choices and weakens for spontaneous text. Three-way annotation of 200 L3 responses provides a task-local check of the semantic audit: FULCRA agrees most closely with the human majority, while DeBERTa retains useful rank information after calibration. Hidden states encode the completed decision more clearly than the prompt alone. Thus the models show reproducible behavioral continuity, but the evidence does not support one scorer-independent value identity across interfaces.
- Abstract（参考訳）: LLM値研究は、しばしば、生成されたテキストから推定されるアンケート評価、ペア選択、および値を1つのプロファイルにマージする。
この融合は、3つの観測結果が同じ安定な嗜好を記述していると仮定する。
STONICはこの仮定を、4つの銀行と35の固定モデル構成から5,144の状況でテストしている。
これは、独立して評価された応答、相反する矛盾の下で選択された選択、自発的な答え、そしてモデル自身の回答と権限のある選択肢の間の後の選択を比較します。
使用可能な行動データを備えた17の構成のうち10は、銀行間の支持-選択関係を維持している。
任意の17の可能な構成のうちの1つは、より早い解(中間効果0.790)を好むが、オプション位置はすべての許容される構成における選択率を変化させる。
プロファイルの形状は、評価から競合選択へ最も強く移行し、自発的テキストに対して弱まる。
200 L3応答の3方向アノテーションは、セマンティック監査のタスクローカルチェックを提供する: FULCRAは人間の多数派に最も近いが、DeBERTaは校正後に有用なランク情報を保持する。
隠れた状態は、プロンプトのみよりも、完了した決定をより明確にエンコードする。
このように、モデルは再現可能な行動連続性を示すが、エビデンスではインターフェイス間の1つのスコアラ非依存の値アイデンティティをサポートしていない。
関連論文リスト
- A decodability criterion predicts when hidden-state selection beats majority voting in large language models [10.860308169044679]
本稿では,解答点隠れ状態の線形ゲートを訓練し,最上位候補を選択する動的選択結合器を提案する。
その主な貢献は、解答可能性(deodability)であり、ゲートが質問の正しい候補をどれだけ正確にランクづけしているかの漏れのない尺度である。
論文 参考訳（メタデータ） (2026-08-17T21:02:10Z) - SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification [71.9783246097687]
SEERは、ペアローカライゼーション中の候補関係を隠蔽し、明示的な主観的/対象的役割を持つクエリ固有ビューを構築し、補完的な証拠として完全なイメージとスパースボックス幾何学を保持する。
正確な逆サポートを持つ関係選択プロトコルでは、オプションリファインメントがエンティティロールを交換し、正確に1つの視覚状態が対応する逆関係に従う場合にのみ前方決定を変更する。
変更されていないプロトコルは、3つのモデルにまたがる2,434個のフィルター付きEmbSpatialペア関係質問に対して +4.35 から +11.79 を得る。
論文 参考訳（メタデータ） (2026-08-04T13:16:15Z) - When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。
CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
論文 参考訳（メタデータ） (2026-08-04T11:45:46Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - Boosting Self-Consistency with Ranking [56.38798757709555]
自己整合性は、複数の推論パスをサンプリングし、最も頻繁な回答を選択することで、大きな言語モデルを改善する。
この制限は、自己整合性における解答選択をランク付け問題として再構成する、ランク付け改善自己整合性(RISC)に対処する。
論文 参考訳（メタデータ） (2026-06-03T16:12:30Z) - Mind the Gap: A Closer Look at Tokenization for Multiple-Choice Question Answering with LLMs [16.357595595062946]
植民地の後に空間をトークン化する方法には合意がないが、しばしば自明な選択として見過ごされる。
驚いたことに、私たちは1つの特定の戦略 -- 回答のレターとともにスペースをトークン化する -- を推奨できます。
本研究は、注意深い評価設計の重要性を強調し、標準化された透明な評価プロトコルの必要性を強調した。
論文 参考訳（メタデータ） (2025-09-18T14:47:58Z) - Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。
この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。
そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文 参考訳（メタデータ） (2023-09-07T17:44:56Z) - Realistic Conversational Question Answering with Answer Selection based
on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。
本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。
我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
論文 参考訳（メタデータ） (2023-02-10T09:42:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。