論文の概要: The Schema Coherence Inventory: Measuring Whether an Assigned Belief Organizes a Language Model's Cognition

• arxiv url: http://arxiv.org/abs/2610.31683v1
• Date: Sat, 03 Oct 2026 09:53:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:06:26.113166
• Title: The Schema Coherence Inventory: Measuring Whether an Assigned Belief Organizes a Language Model's Cognition
• Title（参考訳）: Schema Coherence Inventory: 与えられた信念が言語モデルの認知を組織化するかどうかを測定する
• Abstract要約: ペルソナ条件付き言語モデルは、シミュレートされた患者と感情的エージェントとして使用される。 我々は,コヒーレンス・インベントリ(SCI:Coherence Inventory):96項目の強制選択項目を,ベックの認知モデルの8レベルに提示する。
• 参考スコア（独自算出の注目度）: 7.977172178422737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Persona-conditioned language models are used as simulated patients and affective agents, but there is no validated way to ask whether a belief assigned to such a model organizes its behaviour or whether the model has merely adopted a mood. We present the Schema Coherence Inventory (SCI): 96 forced-choice items at eight levels of Beck's cognitive model, each offering six replies keyed to three negative self-schemas and their positive counterparts, scored by length-normalized log-likelihood so that nothing is generated or parsed. Affect alone can move a model onto a default belief, so the discriminant criterion is target specificity: a condition built for one belief must select that belief more often than conditions built for the other beliefs of its pole. Six validation studies over 107 conditions on five backbones (1.7B-14B parameters) support this reading. Nine clinically trained raters recover the keyed belief at 79.5% (chance 16.7%). Belief adapters are target-specific on every backbone (+17.7 points; 30/30 belief cells positive), and a condition's SCI profile identifies its own free generations in 24/30 cases against 5 expected by chance. A 48-item short form correlates r = 0.73 with the other 48 items. Applied to six published patient simulators, none carries its formulation's core belief better than a one-sentence statement of it. The validation route, which separates a construct from the affect that accompanies it and checks model judges against clinicians, offers a template for affective measurement in language models; we outline its extension across task types, raters, sites and languages. We release the items, scoring code and short form.
• Abstract（参考訳）: ペルソナ条件付き言語モデルは、シミュレーションされた患者や情緒的エージェントとして使用されるが、そのようなモデルに割り当てられた信念がその振る舞いを組織するか、あるいはモデルが単にムードを採用しただけなのかを問うための検証方法はない。 96項目の強制選択項目をBeckの認知モデルの8レベルに提示し、それぞれが3つの負の自己スキーマにキーを付けた6つの応答と、その正の応答を、何も生成や解析されないように、長さ正規化されたログライクな状態によってスコア付けする。 ある信念のために作られた条件は、その信念の他の信念のために作られた条件よりも、より頻繁にその信念を選択する必要がある。 5つのバックボーン(1.7B-14Bパラメータ)上の107条件に関する6つの検証研究がこの読解を支持している。 9人の臨床訓練を受けたトレーナーが79.5%(以下16.7%)で鍵となる信念を回復した。 信念アダプターは、すべてのバックボーン(+17.7ポイント、30/30信頼細胞陽性)でターゲット特異的であり、条件のSCIプロファイルは、24/30ケースにおいて、偶然に予想される5つのフリー世代を識別する。 48等級の短文は、r = 0.73 と他の48項目と相関する。 6つの患者シミュレーターに適用されるが、定式化の中核的な信念は、その1文の声明よりも優れているものはない。 検証ルートは, 言語モデルにおける感情測定のテンプレートを提供し, タスクタイプ, レーダ, サイト, 言語にまたがる拡張を概説する。 アイテムをリリースし、コードと短いフォームをスコア付けします。

関連論文リスト

• Which Answer Did the Seventeen-Year-Old Write? A Behavioral Case Study of Author-Age Misattribution, Miscalibrated Confidence, and Non-Corrective Self-Explanation in Six Frontier Language Models [0.0]
  3人の生徒が「幸せとは何か?」と手動で同じ試験に答えた。 コレクションに記録されている年齢は17歳、28歳、45歳。 ほとんどのフロンティア言語モデルは、それを大人に自信を持って割り当てる。 私たちは1,081のAPIセッションを実行し、フレーミング、開示フォーマット、オーディエンス・アウェアネス・インストラクションを操作する6つの実験条件に対して3,225のレスポンスを記録しました。
  論文  参考訳（メタデータ） (2026-10-22T21:45:19Z)
• TIDE: Tree-Induced Fine-Grained Diagnostic Evaluation from Model Behaviors [63.6722033955159]
  木誘導診断評価は, 微粒な機能診断を行うための行動駆動決定木誘導としての診断評価を再放送する。 TIDEを4つのベンチマークで5つのモデルに適用し、その効果を実証する。 TIDEを過去と将来のベンチマークに拡張して、評価結果におけるリッチな行動信号がモデル機能の理解に完全に活用されることを願っている。
  論文  参考訳（メタデータ） (2026-10-21T16:27:48Z)
• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• When Verifiable Counts Depend on Wording: Auditing Wording Robustness in Instruction Following [8.34325372182861]
  WISEは一致した評価スイートであり、正確な単語数、キーワードのインクルージョンを正確に1回、包括的に8～12ワードの範囲でインスタンス化する。 100以上のタスクが一致し、7つのプロバイダから最大13のモデルが生成され、完全な可視出力に対して繰り返し生成される。
  論文  参考訳（メタデータ） (2026-10-04T14:55:43Z)
• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• Right Frame, Wrong Rule: Cultural Cues Expose the Financial Knowledge Gap They Were Meant to Close [57.963463622270275]
  イスラム金融における規範的多元主義を4つの分類法を用いて研究する。 文化的キューは1つのフレームワークに向かってモデルを操縦するが、そのモデルはそのフレームワーク内で間違った答えを選択する。
  論文  参考訳（メタデータ） (2026-09-01T09:46:53Z)
• Small Foundation Models of Human Cognition and Behaviour [45.88028371034407]
  135Mから14Bパラメータの14モデルを、Psych-101の4つのアーキテクチャファミリでトレーニングしています。 Psych-101は160の実験から1070万の試行レベルの選択のデータセットである。 認知的に微調整された小さなモデルは、心理的実験のためのノイズ天井推定器として有望であることを示す。
  論文  参考訳（メタデータ） (2026-08-05T11:34:20Z)
• ModelEquivBench: Certifying Multi-Relational Evaluation of LLM-Generated Optimization Models [6.820882579439242]
  マルチリレーショナル評価システムであるModelEquivBenchを提案する。 それぞれのエントリは、E0--E1、正のE2--E6結論の正確な有理証明のための関係適切なトレースまたは明示的なマップを持っている。 結果として得られるプロファイルは、粗いベースラインが表現しない区別を明らかにする。
  論文  参考訳（メタデータ） (2026-07-31T13:55:09Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen [0.0]
  実験では,7つの指導訓練付きオープンウェイトモデルを用いて,最小の妥当性基準を満たす言語的信頼度が得られるかどうかを検証した。 カテゴリー的誘因は有効性には至らなかった。 声道レベルの対数確率は,観察された分散状態下での言語的信頼度を有意に予測しなかった。
  論文  参考訳（メタデータ） (2026-04-24T04:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。