論文の概要: Forty Questions: Identifying a Language Model from One-Word Answers

• arxiv url: http://arxiv.org/abs/2610.28281v1
• Date: Tue, 20 Oct 2026 14:33:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.855453
• Title: Forty Questions: Identifying a Language Model from One-Word Answers
• Title（参考訳）: 40の質問: ワンワード回答から言語モデルを特定する
• Abstract要約: APIは、日々の質問に対する1ワードの回答から識別できる。 モデルのプロファイルは、各質問に対する各回答の頻度を記録する。 私たちは、モデルが与えた可能性が最も高い、新しい回答を引用します。
• 参考スコア（独自算出の注目度）: 3.7734715043126488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A model behind an API can be identified from its one-word answers to everyday questions such as "Name a sound" or "Name a poet". A model's profile records how often it gives each answer to each question. We attribute new answers to the model most likely to have given them. On a panel of 94 models, 40 answers identify the exact model 92.5% of the time, against 1.1% by chance. Profiles built through OpenRouter identified all ten models served by DeepInfra under blinded labels. A system prompt lowers accuracy by 6 to 16 points. We applied the method to 96 endpoints of 13 open models on OpenRouter, and 92 identify as the model they claim. Of the other four, one matches the claimed model with reasoning turned off. One serves Gemma 4 under the name Llama 4 Maverick: it names itself Gemma 4, and it is billed Gemma 4's token counts on every message. Two remain unresolved. Billing records also show context added to first-party models. Grok 4.7 is billed 1,247 input tokens for a one-line question that costs GPT-4o only 12 tokens, and five models state the current date without being billed for it. The questions come from a public census of model defaults, and the method costs cents per endpoint.
• Abstract（参考訳）: APIの背後にあるモデルは、"Name a Sound"や"Name a poet"といった日常的な質問に対する1ワードの回答から識別することができる。 モデルのプロファイルは、各質問に対する各回答の頻度を記録する。 私たちは、モデルが与えた可能性が最も高い、新しい回答を引用します。 94モデルのパネルでは、40の回答が92.5%の正確な時間モデルと1.1%の確率で識別している。 OpenRouterを通じて構築されたプロファイルは、盲目のラベルの下でDeepInfraによって提供される10モデルすべてを特定した。 システムは精度を6から16ポイント下げる。 この手法を OpenRouter 上の 13 個のオープンモデルの96 個のエンドポイントに適用し,92 個をそれらが主張するモデルとして同定した。 残りの4つのうち1つは主張されたモデルと一致し、推論はオフになった。 Llama 4 Maverick という名前で Gemma 4 を提供しており、すべてのメッセージに Gemma 4 のトークンカウントが請求されている。 2人は未解決のままである。 請求記録には、ファーストパーティモデルに追加されたコンテキストも表示される。 Grok 4.7は1行の質問に対して1,247の入力トークンを請求しており、GPT-4oは12トークンのみであり、5つのモデルは請求せずに現在の日付を記載している。 質問は、モデルデフォルトのパブリックな国勢調査によるものであり、メソッドはエンドポイント毎のコストがかかる。

関連論文リスト

• this-that-model-1.0: A typed decision model that decides in 30 ms, for a millionth of a cent [9.39195684989942]
  このモデル1.0は2B型決定モデルである。 1つのラップトップGPU上で30.9msで決定し、それを行う出力トークンをゼロにする。 1つのコンシューマGPU上で毎秒32の意思決定を維持でき、ステートがマシンを離れることはない。
  論文  参考訳（メタデータ） (2026-09-20T21:43:03Z)
• Playing log(N)-Questions over Wikipedia Abstracts: How Per-Round Errors Compound Under Information Asymmetry [0.08460698440162888]
  我々は2エージェントの$log N$-Questionsゲーム上で6つのフロンティア言語モデルを評価する。 $N$の候補リードパラグラフにアクセスする質問者は、正確に$log N$のバイナリ質問を使用して秘密のターゲットを特定する必要がある。 408ゲーム中、勝利率は水平長の幾何学的パワーとしてきれいに崩壊する。
  論文  参考訳（メタデータ） (2026-09-16T17:41:12Z)
• The One-Word Census: Answer-Choice Conformity Across 44 Language Models [3.7734715043126488]
  我々は31個のシングルターンプロンプトの収束を特徴付け、それぞれに有効な1ワードの回答が多数あるカテゴリを命名する。 平均$-log2$の確率は、他のすべてのモデルのプールされた答えの下で得られる。 ペルソナとコミュニティがデザインしたモデルは最も異なっており、最新のメインラインフラッグシップは最もコンフォーマリストである。
  論文  参考訳（メタデータ） (2026-07-14T14:12:05Z)
• PhantomFill: When the Form Demands an Answer, Language Models Invent One [0.0]
  実運用における言語モデルは散文を書かない。 私たちは13のモデルに同じ質問をし、回答形式だけを変更します。 形態自体が幻覚を引き起こすことを示す。
  論文  参考訳（メタデータ） (2026-06-11T12:15:05Z)
• Why Models Know But Don't Say: Chain-of-Thought Faithfulness Divergence Between Thinking Tokens and Answers in Open-Weight Reasoning Models [0.0]
  拡張思考モデルは、ユーザ可視の回答と並んで、第2のテキスト生成チャネル(トークンを考える)を公開する。 本研究では,MMLUおよびGPQA質問に対する12のオープンウェイト推論モデルについて,誤解を招くヒントと組み合わせて検討した。
  論文  参考訳（メタデータ） (2026-03-27T13:39:05Z)
• HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
  HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。 作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
  論文  参考訳（メタデータ） (2025-11-24T03:13:45Z)
• Refusal Tokens: A Simple Way to Calibrate Refusals in Large Language Models [68.15108215197279]
  安全で信頼性の高い言語モデルを構築する上で重要な要素は、モデルが特定の質問に答えることを適切に拒否することである。 本稿では,学習中のモデルの応答に先立って,各拒絶カテゴリに対する1つのそのようなトークン,あるいは1つの拒絶トークンを提案する。
  論文  参考訳（メタデータ） (2024-12-09T18:40:44Z)
• Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
  APIプロバイダは、基本モデルの定量化、透かし、微調整を行い、出力分布を変更することができる。 モデル平等テスト(Model Equality Testing)は,2サンプルテスト問題である。 単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。
  論文  参考訳（メタデータ） (2024-10-26T18:34:53Z)
• Language Model Inversion [77.22715643068284]
  我々は,次の確率が先行するテキストに関する驚くべき量の情報を含んでいることを示す。 我々の反転法は、BLEUが59ドル、トークンレベルのF1が78ドルでプロンプトを再構築し、正確に27%のプロンプトを回収する。
  論文  参考訳（メタデータ） (2023-11-22T19:04:04Z)
• Tag and Correct: Question aware Open Information Extraction with Two-stage Decoding [73.24783466100686]
  質問 オープンIEは質問と通過を入力として受け取り、主題、述語、および1つ以上の議論を含む回答を出力する。 半構造化された答えには2つの利点がある。 一つは、Open IEモデルによるパスから候補回答を抽出し、質問にマッチしてランク付けする抽出方法である。 もう1つは、シーケンスモデルを用いて回答を直接生成する生成方法である。
  論文  参考訳（メタデータ） (2020-09-16T00:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。