論文の概要: Twenty Days Later: A Pre-Registered Test of History-Based Forecasts of Brand Mentions in Gemini Answers
- arxiv url: http://arxiv.org/abs/2610.19608v1
- Date: Wed, 14 Oct 2026 05:30:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.980628
- Title: Twenty Days Later: A Pre-Registered Test of History-Based Forecasts of Brand Mentions in Gemini Answers
- Title（参考訳）: 20日後:Gemini Answersのブランド・メンションの履歴ベースの予測を事前登録したテスト
- Abstract要約: 大きな言語モデルの名前のブランドは、行動するのに十分な時間を持っている場合にのみ有用である。
これを事前登録されたレプリケーションでテストします。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Counts of which brands a large language model names are useful only if they hold long enough to act on. We test this with a pre-registered replication. The same 162 requests (54 questions in English, Estonian and Finnish about three software categories, four of twelve candidate brands per question, three repeats) were sent to gemini-3.1-pro-preview in three waves within about ten hours on 22 and 23 September 2026, and again on 13 October 2026, 20.3 days after the third wave, with identical request bodies. The plan and its decision rule were frozen, hashed and registered on OSF before the first call. The outcome is a lexical mention label per answer and brand, 648 per wave. The primary forecast, each brand-and-question cell's mention rate over the nine earlier answers, scored Brier 0.0281 and log loss 0.126, against Brier 0.0259 for the six-answer forecast of the 8-hour wave and a registered ceiling of 0.0559. It beat brand history (0.104), the overall rate (0.234) and a constant 0.5 (0.250) on both scores and in all nine question families (exact sign-flip p = 0.0039), so durability holds under the registered rule. A forecast frozen from the first wave alone scored 0.0599, 0.0587 and 0.0604 at horizons of 1.5 hours, 9.6 hours and 20.7 days. Of the 202 cells unanimous in the 8-hour wave, 194 were unchanged at D1 and none reversed. The latest wave alone was nearly as accurate as the pooled history (Brier 0.0292; pooled lower in 5 of 9 families, p = 0.28). Every answer reported the requested model version, and none issued a search query although search was enabled. A blind human check of 96 labels agreed with the rule on 94; both disagreements were adjudicated as rater omissions, so after adjudication the rule matched on 96 of 96. The test covers one model, one interval and twelve known brands, and estimates no decay rate.
- Abstract（参考訳）: 大きな言語モデルの名前のブランドは、行動するのに十分な時間を持っている場合にのみ有用である。
これを事前登録されたレプリケーションでテストします。
同じ162件の要求(英語、エストニア語、フィンランド語で3つのソフトウェアカテゴリについて54の質問、12の候補ブランドのうち4つの繰り返し)は、2026年9月22日と23日に約10時間以内に3つの波でgemini-3.1-pro-previewに送られた。
計画と決定ルールは、最初の呼び出しの前に凍結され、破られ、OSFに登録された。
その結果は、回答とブランド毎の語彙ラベルであり、1ウェーブあたり648である。
第一の予測は、9つの前の回答に対するブランド・アンド・クエスト・セルの言及率であり、ブリア0.0281とログ損失0.126と、ブリア0.0259は8時間波の6つの回答予測と0.0559の登録天井である。
ブランド履歴(0.104)、総合レート(0.234)、両スコアの0.5(0.250)、および9つの質問ファミリ(正確には記号-フリップp = 0.0039)を上回り、耐久性は登録規則に従って保持される。
最初の波から凍った予測は1.5時間9.6時間20.7日の地平線で0.0599、0.0587、0.0604を記録した。
8時間波の202細胞のうち、194細胞はD1で変化せず、逆転しなかった。
最新の波動だけでは、プールされた歴史と同程度に正確であった(ブリア0.0292、9つの家系のうち5つ、p = 0.28)。
全ての答えは要求されたモデルバージョンを報告し、検索が有効になったにもかかわらず検索クエリは発行されなかった。
96のラベルの盲目の人間によるチェックでは、94のルールに合意し、両者の意見の一致は利子不一致と判断され、96の96のルールと一致した。
このテストは、1つのモデル、1つのインターバル、12の既知のブランドをカバーし、崩壊率を見積もる。
関連論文リスト
- Calibrated Answers About Randomized Trials From a 4-Billion-Parameter Open Model: A Registered Test and a License-Clean Release [0.0]
Fiorillo v0.5は、各回答の確率で型付き質問に答えるオープンモデルである。
その主要な専門家はランダム化裁判の論文を読み、6,144個のトークンにカットし、介入が著しく増加したかどうかを答える。
論文 参考訳（メタデータ） (2026-10-04T15:09:39Z) - Where Does the Audio Jailbreak Live? A Controlled Frequency-Depth Audit of AdvWave-P on Qwen2-Audio [19.54050229757254]
Qwen2-Audioでは、付加的なオーディオジェイルブレイクであるAdvWave-Pの周波数とデコーダの詳細なクレームを監査する。
攻撃成功とオーディオスパン表現を計測する。
周波数クレームの分割対応監査を支援する。
論文 参考訳（メタデータ） (2026-10-04T11:28:03Z) - BITEM at the NTCIR-19 R2C2 Task: Predicting Confidence from Agentic RAG Pipeline Signals [35.20361577227938]
2回の検索は22の4位と5位に位置し、パスをプールする価値は0.0709 nDCG@20だった。
25回のうち16回はこれら2回が供給された通路で作られ、そのうち12回は他のチームによって提出された。
パイプラインの精度は、25の6番目の0.9219に達し、その答えに対する信頼度は0.4915,13番目の0.4915に達した。
論文 参考訳（メタデータ） (2026-09-29T16:52:38Z) - JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。
ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。
Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
論文 参考訳（メタデータ） (2026-09-25T11:32:19Z) - System Attribution in LLM Brand Recommendations: Single Responses Identify the System, Aggregated Brand Profiles Do Not Transfer [0.0]
AIの可視性の監査は、デプロイされた言語モデルのブランドレコメンデーションをシステム単位のプロファイルに要約する。
2025年12月から2026年2月までに収集された6,475件の蓄えられた応答(6,324件)のコーパス上で,このようなプロファイルがシステムを記述するかどうかを検証した。
論文 参考訳（メタデータ） (2026-09-23T21:57:07Z) - Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳（メタデータ） (2026-09-07T10:22:22Z) - Self-Cleaning and Captured Anyway: One Measured Primitive for Error in a Store an Agent Writes to Itself, and What a Falling Score Actually Measures [14.867869624585886]
「後から回収した店に結末を書き込むエージェントは、通常片道汚染として報告されるループを閉じる。」
「第87段の列は、全てアペンディックスWに、うち37段の行は退行、退行、失敗、自己是正、決定不能、または認められない限度であり、そうでないもの50である。」
論文 参考訳（メタデータ） (2026-09-06T13:54:02Z) - Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。
我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。
52,988件の要求を監査し、スピアマン0.400で0.90と一致した。
証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
論文 参考訳（メタデータ） (2026-09-03T17:59:43Z) - PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
論文 参考訳（メタデータ） (2026-08-24T17:13:25Z) - Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks [0.0]
複数選択のベンチマークは、モデルが正しい選択肢を選ぶかどうか、質問が必要なかどうかで評価される。
UA-JudgeExam: 11,990件の4つのオプション項目を公式キーで測定し、ウクライナの高等審査委員会(Higher Qualification Commission of Judges)が公表した。
11.8%のアイテムは、偶然に予想される0.2項目に対して、8つのオプションのすべてで盲目で答えられる。
論文 参考訳（メタデータ） (2026-08-15T22:11:00Z) - Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。
因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
論文 参考訳（メタデータ） (2025-09-24T13:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。