論文の概要: PhantomFill: When the Form Demands an Answer, Language Models Invent One

• arxiv url: http://arxiv.org/abs/2607.20492v1
• Date: Thu, 11 Jun 2026 12:15:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.200373
• Title: PhantomFill: When the Form Demands an Answer, Language Models Invent One
• Title（参考訳）: PhantomFill: フォームが回答を要求するとき、言語モデルが発明する
• Abstract要約: 実運用における言語モデルは散文を書かない。 私たちは13のモデルに同じ質問をし、回答形式だけを変更します。 形態自体が幻覚を引き起こすことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models in production do not write prose. They fill forms: JSON fields, function arguments, extraction templates. We show that the form itself causes hallucination. We ask thirteen models the same question about the same input and change only the answer format. The inputs are built so the question cannot be answered: a viral post showing 12,400 likes but no visible replies, a support ticket whose call was never transcribed. In free text, GPT-5.5 answers honestly. It says there is no reply data, 98% of the time. Given a required JSON field for sentiment, the same model invents an answer 40 times out of 40. It fabricates the mood of crowds it never saw and quotes customers it never heard. The pattern holds with force. Required fields drive fabrication to 100% in ten of thirteen models. An explicit "insufficient evidence" option rescues only the frontier: all nine open-weight models ignore it. A direct instruction, do not infer sentiment, is overridden by the schema in four of six models. Resistance does not come with scale: within a single model family, the smallest model refuses, the mid-sized model fabricates, the largest refuses again. Honesty under format pressure is a training outcome that no one is measuring. The fabrication hides exactly where hedging is impossible: in required enums and minimum-count arrays, fields where no disclaimer fits. We release PhantomFill, a benchmark with deterministic scoring and two reportable numbers: the Coerced Fabrication Rate and the Escape Utilization Rate. The fix we test is one line of schema. The failure we measure is everywhere.
• Abstract（参考訳）: 実運用における言語モデルは散文を書かない。 JSONフィールド、関数引数、抽出テンプレート。 形態自体が幻覚を引き起こすことを示す。 同じ入力について13のモデルに同じ質問を行い、回答形式だけを変更します。 インプットは、質問に答えることができないように構築されている:12,400の好意を示すが、目に見える返信がないバイラルな投稿、電話が書かなかったサポートチケット。 フリーテキストでは、GPT-5.5が正直に答える。 回答データはなく、98%の時間だそうだ。 感情のJSONフィールドが必要な場合、同じモデルが40の40倍の回答を発明する。 それは、見たことのない群衆のムードを作り、聞いたことのない顧客を引用する。 そのパターンは力で保つ。 必要なフィールドは13モデル中10モデルで100%製造される。 明確な「不十分な証拠」オプションはフロンティアのみを救い出す:9つのオープンウェイトモデルは全てそれを無視する。 感情を推測しない直接的な命令は、スキーマによって6つのモデルのうち4つでオーバーライドされる。 単一のモデルファミリでは、最小のモデルファミリが拒否され、中型のモデルファミリが作成され、最大のモデルファミリが再び拒否される。 フォーマットプレッシャーの下での正直さは、誰も測定していないトレーニング結果です。 この製法はヘッジが不可能な場所を正確に隠している:必須の列挙や最小数配列では、ディファイラが収まらないフィールドである。 我々は、決定論的スコアを持つベンチマークであるPhantomFillと、2つの報告可能な数値であるCoerced Manufacturing RateとEscape utilization Rateをリリースする。 私たちがテストする修正は1行のスキーマです。 私たちが計測する失敗は至る所にある。

関連論文リスト

• Prompt-Model Interaction Reaches the Fixed Points: A deterministic, task-free structural readout -- and the factorizations of it that failed [0.0]
  ショートウィンドウ argmax map x_t+1 = argmax_x p(x | x_t-1, x_t) の固定点構造は96 から始まる。 6つのモデルのうち4つは、ウィンドウ16で完全に失われている。 第一に、相互作用は全等級でこの読み出しに達する:条件付けの9つのトークンは、そのほとんどにわたって固定点分数を動かす。
  論文  参考訳（メタデータ） (2026-08-21T17:25:18Z)
• Why LLMs Give In: Conversational Factors and Reasoning Behind Medical Sycophancy [8.386215461053723]
  ユーザプッシュバックの下で正しい医療回答を放棄する言語モデルは、単に間違っていたものよりも危険です。 本研究は, 言語モデルにおいて, 4つの対話的要因にまたがる完全に交差した因子的設計を用いて, 医用サイコファシーについて検討した。
  論文  参考訳（メタデータ） (2026-08-02T05:49:25Z)
• Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models [0.0]
  2つの実験は、保持された汚染のない合成コーパス上の3つの因子全てを横断する。 実験1では,規則数Nが10から160に増加するにつれて,命令追従減衰を測定する。 実験2では, 2k-to-512k-tokenのコンテキストラグ上での精度, 虚偽の前提条件, ファクトファクトファクトファクチャリングの測定を行った。
  論文  参考訳（メタデータ） (2026-07-21T16:31:35Z)
• Structured Output Collapses Answer Diversity Across 44 Language Models [3.7734715043126488]
  言語モデルが同等に有効なオプションの広いスペースから1つの回答を選択する必要がある場合、フォーマット条項 -- "Reply with only" -- が選択した回答を変更する。 One-Word Census (arXiv:2607.97):31のワイド・アンサー・スペース・カテゴリ・プロンプトで44のモデルが要求され、応答が要求された。 制約のない"Pick a word"では、モーダル解答はプールの41%から64%に上昇し、解答は52から36に減少する。
  論文  参考訳（メタデータ） (2026-07-20T19:47:16Z)
• The One-Word Census: Answer-Choice Conformity Across 44 Language Models [3.7734715043126488]
  我々は31個のシングルターンプロンプトの収束を特徴付け、それぞれに有効な1ワードの回答が多数あるカテゴリを命名する。 平均$-log2$の確率は、他のすべてのモデルのプールされた答えの下で得られる。 ペルソナとコミュニティがデザインしたモデルは最も異なっており、最新のメインラインフラッグシップは最もコンフォーマリストである。
  論文  参考訳（メタデータ） (2026-07-14T14:12:05Z)
• No Single Best Model for Diversity: Learning a Router for Sample Diversity [69.53166985556759]
  本稿では,有効な応答の集合を包括的に抽出する手法について検討する。 本稿では,各回答に割り当てられた品質スコアを計測する指標であるtextbfdiversity Cover を紹介する。 各プロンプトには、多様な回答セットを生成する際に、他のすべてのモデルよりも大幅に優れるモデルが存在する。
  論文  参考訳（メタデータ） (2026-04-02T17:58:37Z)
• Movie Facts and Fibs (MF$^2$): A Benchmark for Long Movie Understanding [97.05584099530226]
  MF$2$は、モデルがフル長の映画から重要な物語情報を理解し、統合し、思い出せるかどうかを評価するための新しいベンチマークである。 各ペアについて、モデルは真と偽のクレームの両方を正しく識別する必要がある。 実験の結果、オープンウェイトモデルとクローズド・オブ・ザ・アーティファクトモデルの両方が人間のパフォーマンスにかなり劣っていることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T17:58:36Z)
• Refusal Tokens: A Simple Way to Calibrate Refusals in Large Language Models [68.15108215197279]
  安全で信頼性の高い言語モデルを構築する上で重要な要素は、モデルが特定の質問に答えることを適切に拒否することである。 本稿では,学習中のモデルの応答に先立って,各拒絶カテゴリに対する1つのそのようなトークン,あるいは1つの拒絶トークンを提案する。
  論文  参考訳（メタデータ） (2024-12-09T18:40:44Z)
• Surgical, Cheap, and Flexible: Mitigating False Refusal in Language Models via Single Vector Ablation [29.605302471407537]
  言語モデルを有用かつ無害にトレーニングするには、拒否行動の慎重な校正が必要である。 本稿では,単一ベクトルアブレーションによる言語モデルにおける偽の拒絶を緩和するための簡易かつ外科的手法を提案する。 提案手法はトレーニング不要で,モデルに依存しないため,現在および将来の言語モデルにおける誤認の軽減に有効である。
  論文  参考訳（メタデータ） (2024-10-04T13:25:32Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• TruthfulQA: Measuring How Models Mimic Human Falsehoods [2.7143159361691227]
  本稿では,質問に対する回答を生成する上で,言語モデルが真であるかどうかを評価するためのベンチマークを提案する。 このベンチマークは、健康、法律、金融、政治など38のカテゴリーにまたがる817の質問で構成されている。 最高のモデルが58%の質問に対して真実であるのに対して、人間のパフォーマンスは94%でした。
  論文  参考訳（メタデータ） (2021-09-08T17:15:27Z)
• Meaningful Answer Generation of E-Commerce Question-Answering [77.89755281215079]
  eコマースポータルでは、製品関連の質問に対する回答を生成することが重要な課題となっている。 本稿では,MPAG(Meaningful Product Answer Generator)と呼ばれる新しい生成ニューラルモデルを提案する。 MPAGは、製品レビュー、製品属性、プロトタイプの回答を考慮に入れて、安全な回答問題を緩和します。
  論文  参考訳（メタデータ） (2020-11-14T14:05:30Z)
• Is Multihop QA in DiRe Condition? Measuring and Reducing Disconnected Reasoning [50.114651561111245]
  モデルは、しばしば、複数のサポート事実をまたいで情報を接続することなく、正しい回答を生成するためにデータセットアーティファクトを利用する。 我々は、支持事実のサブセットにまたがる不連結推論のような望ましくない振る舞いを定式化する。 実験によると、読書理解設定においてマルチホップQAがあまり進歩していないことが示唆されている。
  論文  参考訳（メタデータ） (2020-05-02T11:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。