論文の概要: Which Answer Did the Seventeen-Year-Old Write? A Behavioral Case Study of Author-Age Misattribution, Miscalibrated Confidence, and Non-Corrective Self-Explanation in Six Frontier Language Models

• arxiv url: http://arxiv.org/abs/2610.31946v1
• Date: Thu, 22 Oct 2026 21:45:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.301124
• Title: Which Answer Did the Seventeen-Year-Old Write? A Behavioral Case Study of Author-Age Misattribution, Miscalibrated Confidence, and Non-Corrective Self-Explanation in Six Frontier Language Models
• Title（参考訳）: 17歳児が書いたことに対する回答 : 6つのフロンティア言語モデルにおける著者のミス貢献,過度信頼,非矯正的自己説明の行動ケーススタディ
• Abstract要約: 3人の生徒が「幸せとは何か?」と手動で同じ試験に答えた。 コレクションに記録されている年齢は17歳、28歳、45歳。 ほとんどのフロンティア言語モデルは、それを大人に自信を持って割り当てる。 私たちは1,081のAPIセッションを実行し、フレーミング、開示フォーマット、オーディエンス・アウェアネス・インストラクションを操作する6つの実験条件に対して3,225のレスポンスを記録しました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Three students answered the same exam prompt by hand: "What is happiness? Are you happy?" Their ages, recorded at collection, are 17, 28, and 45. The 17-year-old's answer is hedged and formally phrased. Asked to match each answer to an age and gender label, most frontier language models confidently assign it to an adult. This paper reports a structured case study of that failure across six models: Claude Fable 5, Gemini 3.1 Pro, GPT-5.6 Sol, Grok 4.5, GPT-4o (2024), and DeepSeek V4. We ran 1,081 API sessions and scored 3,225 responses across six experimental conditions that manipulate framing, disclosure format, and audience-awareness instruction. Three of six models perform at or near chance (1/3) on the matching task while reporting 73-88% mean confidence. The youngest writer's answer is misattributed to an adult in up to 90% of trials. Removing the multiple-choice scaffold collapses accuracy further: three models never place within three years of the true age once open-ended estimation is required. Institutional framing ("a community-college biology final") significantly degrades the best-performing model's accuracy; a neutral label does not. A single audience-awareness instruction significantly improves one model (+21 points) and moves another to ceiling, with no detectable effect on the three weakest models. Stated confidence is uncorrelated or inversely correlated with correctness for five of six models. After ground truth is revealed, one model names its own stereotyping in 68 of 114 explanations, yet shows the lowest accuracy and highest confidence of any model under blind presentation: articulate retrospective diagnosis that does not track the quality of its judgments. This is a three-item, single-topic, single-language case study meant to isolate a mechanism, not to estimate a population bias rate. Data, code, and raw model outputs are publicly released.
• Abstract（参考訳）: 3人の生徒が「幸せとは何か?幸せなのか?」と手動で同じ試験に答えた。 収録されている年齢は17歳、28歳、45歳。 17歳の答えはヘッジされ、正式に表現される。 年齢と性別のラベルに各回答を合わせるように頼まれると、ほとんどのフロンティア言語モデルはそれを大人に自信を持って割り当てる。 本稿では,Claude Fable 5, Gemini 3.1 Pro, GPT-5.6 Sol, Grok 4.5, GPT-4o (2024), DeepSeek V4の6モデルにまたがって,その故障に関する構造化ケーススタディを報告する。 私たちは1,081のAPIセッションを実行し、フレーミング、開示フォーマット、オーディエンス・アウェアネス・インストラクションを操作する6つの実験条件に対して3,225のレスポンスを記録しました。 6モデルのうち3モデル(1/3)は、マッチングタスクで実行され、73-88%は信頼性を示す。 最年少の作家の答えは、最大90%の裁判で大人に誤解される。 複数選択の足場を撤去することは、さらに正確さを損なう: オープンエンド推定が必要とされると、3つのモデルが真の年齢の3年以内に決して発生しない。 制度的フレーミング("コミュニティ・コレージュ生物学のファイナル")は、最高の性能のモデルの精度を著しく低下させる。 シングルオーディエンス・アウェアネス・インストラクションは、1つのモデル(+21点)を著しく改善し、もう1つのモデルが天井に移動し、最も弱い3つのモデルに検出可能な影響は与えない。 状態信頼は、6つのモデルのうち5つのモデルの正確性とは無関係または逆相関である。 根拠的真実が明らかになった後、あるモデルは114の説明のうち68のモデルで独自のステレオタイピングを名づけるが、視覚障害者が提示するどのモデルよりも低い精度と信頼性を示している。 このケーススタディは、集団バイアス率を見積もるのではなく、メカニズムを分離することを目的としている。 データ、コード、生モデルのアウトプットが公開されている。

関連論文リスト

• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
  我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。 120のWebドキュメントに2,523のリードマークがある。 読者が読むものよりも確実に読者に同意するモデルはない。
  論文  参考訳（メタデータ） (2026-07-31T10:44:10Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
  ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。 すべてのモデルはヒンディー語で最小の精度を達成する。 原因ではなく検索は エラーの70%以上を 引き起こします
  論文  参考訳（メタデータ） (2026-05-21T17:42:07Z)
• Self-Harmony: Learning to Harmonize Self-Supervision and Self-Play in Test-Time Reinforcement Learning [48.14470449860784]
  テスト時強化学習(TTRL)は、推論時に合成信号のみを使用してモデルを適応するためのラベルなしパラダイムを提供する。 簡単な直感に基づくフレームワークであるSelf-Harmonyを紹介します。
  論文  参考訳（メタデータ） (2025-11-03T03:34:34Z)
• Are DeepSeek R1 And Other Reasoning Models More Faithful? [2.0429566123690455]
  我々は,Qwen-2.5,Gemini-2,DeepSeek-V3-Baseの3つの推論モデルを評価する。 MMLU質問に対する解答に、その解答がどう影響するかをモデルで記述できるかどうかを検証する。 推論モデルは、テストされたすべての非推論モデルよりもはるかに確実にそれらに影響を与えるキューを記述する。
  論文  参考訳（メタデータ） (2025-01-14T14:31:45Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。