論文の概要: Time Capsule of Testable Human Knowledge: 41 Years of Jeopardy! in a Single Free Local Model

• arxiv url: http://arxiv.org/abs/2608.27459v1
• Date: Tue, 16 Jun 2026 03:20:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.385674
• Title: Time Capsule of Testable Human Knowledge: 41 Years of Jeopardy! in a Single Free Local Model
• Title（参考訳）: テスト可能な人間の知識の時間カプセル:1つの自由局所モデルで41年間!
• Abstract要約: 文化が答えられるもののスナップショットである、同じ種類のアーティファクトが、ポータブルで本質的に無料になったことを、私たちは示しています。 1984年から2025年までの41シーズン中529,939の手がかりとして,完全なオープンなJeopardy!のデータセットに対して,単一の9GBオープンウェイトモデル(Qwen2.5-14B,4-bit)を評価した。 このモデルは厳密でファジィなマッチングを持つ厳格な強制応答プロトコルの下ですべての手がかりの67.0%を答え、ファクトイドのカテゴリでは85%を超えている。
• 参考スコア（独自算出の注目度）: 4.02431279819382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In 2011, IBM's Watson was something like a sealed capsule of its era's queryable knowledge. Its DeepQA system defeated the strongest human Jeopardy! champions, but the knowledge that let it do so lived in a curated billion-document corpus running on a cluster of POWER7 servers, frozen at build time and impossible to move or copy. We show that the same kind of artifact, a snapshot of what a culture can answer, is now portable and essentially free. We evaluate a single 9 GB open-weight model (Qwen2.5-14B, 4-bit) against the complete open Jeopardy! clue dataset, 529,939 clues across all 41 broadcast seasons from 1984 to 2025. To our knowledge this is the first time a model has been run over the full corpus. The 41 years mark only how long the questions were collected. What they test is far older and broader: the accumulated body of human general knowledge a culture considers worth knowing, from ancient history and dead languages to science, literature, and geography, with a verified answer for every item. The model answers 67.0% of all clues under a strict forced-response protocol with exact and fuzzy matching, and exceeds 85% on factoid categories. We treat training-data exposure as something both systems share rather than a flaw unique to language models. Watson's case is in fact the more extreme one. Its corpus was assembled to contain Jeopardy answers and it was tuned on past clues, and it could not answer anything outside that curated distribution. The decisive test is whether a model can answer clues that did not exist when it was built. On clues aired after its training cutoff, the local model holds 65% and Claude Opus 4.8 holds 95%, while Watson by construction scores zero. The capability survives the move from a server room to a file you could seal in a time capsule, and unlike Watson it is not frozen to its own moment.
• Abstract（参考訳）: 2011年、IBMのWatsonは、当時のクェリ可能な知識の封印されたカプセルのようなものでした。 DeepQAのシステムは、最強の人間Jeopardy!チャンピオンを倒したが、それができた知識は、POWER7サーバのクラスタ上で稼働し、ビルド時に凍結され、移動もコピーも不可能だった。 文化が答えられるもののスナップショットである、同じ種類のアーティファクトが、ポータブルで本質的に無料になったことを、私たちは示しています。 1984年から2025年までの41シーズン中529,939の手がかりとして,完全なオープンなJeopardy!のデータセットに対して,単一の9GBオープンウェイトモデル(Qwen2.5-14B,4-bit)を評価した。 私たちの知る限りでは、モデルが全コーパス上で実行されるのはこれが初めてです。 41年は質問の収集期間に過ぎなかった。 文化は、古代の歴史や死語から科学、文学、地理まで、あらゆる項目について検証された答えを持って知る価値があると考えている。 このモデルは厳密でファジィなマッチングを持つ厳格な強制応答プロトコルの下ですべての手がかりの67.0%を答え、ファクトイドのカテゴリでは85%を超えている。 トレーニングデータの露出を、言語モデル特有の欠陥ではなく、両方のシステムが共有するものとして扱う。 ワトソンの主張は、実際はもっと極端なものである。 コーパスはJeopardyの回答を含むよう組み立てられ、過去の手がかりに基づいて調整された。 決定的なテストは、モデルが構築時に存在しなかったヒントに答えられるかどうかである。 トレーニングオフ後に放送された手がかりでは、地元のモデルは65%、クロード・オプス4.8は95%、ワトソンは0点である。 この機能は、サーバールームからタイムカプセルに封印できるファイルへの移行に生き残り、Watsonとは異なり、その瞬間に凍結されることはない。

関連論文リスト

• EnigmaForge: The Question Is Hidden in the Story [0.0]
  EnigmaForgeは、古いドキュメントのスタックを渡すが、疑問の余地は全くない。 SATソルバは、すべての手がかりがロードベアリングであることを証明する。 205台のフロンティアモデルが600以上のインスタンスを走らせ(17,400得点) Intrepidはリーダボードを再シャッフルする – 事実のリカバリが1.6倍に広がる22倍のスプレッド,第2位のファクトリカバリのランク,ひとつは質問に対する回答に無関心なモデル,もうひとつはそれなしでははるかによいモデルだ。
  論文  参考訳（メタデータ） (2026-09-24T17:10:03Z)
• A Lie Detector Test for Language Models: Reading Knowledge a Model Won't Reveal [0.11280931253550518]
  内部認識のプローブ (Probe of Internal Recognition, PIR) は、有罪な知識を識別する法医学的手法である。 モデルの内部状態から、モデルが正しいと認識する候補に質問を提示し、読み出す。 PIRは、認識された回答を0.70から0.87のバランスの取れた精度で回復し、0.28から0.40の未知の基準線と0.25の確率速度よりもはるかに高い。
  論文  参考訳（メタデータ） (2026-09-18T16:57:00Z)
• Historical Backtesting for Scientific Question Discovery: A Protocol and Astronomy Pilot [0.5028072215868231]
  我々は、時間的に分離されたコーパス、凍結した質問、監査可能なラベル、4つの基準ベースライン、および入力インターフェースを備えた再現可能な天文学のインスタンスをリリースする。 2026-08-17(2027-2030)を凍結した200の質問が公表された。
  論文  参考訳（メタデータ） (2026-08-17T16:51:06Z)
• Can a Language Model Learn Facts Continually in Its Weights? [0.11603243575080534]
  継続的な学習は、トレーニング後の知識獲得を継続する言語モデルを約束する。 Qwen3モデルに記述された発明された事実を、20から100の書き込みのシーケンスを通じて追跡する。 事実は消去されることなく行動的に忘れられる。
  論文  参考訳（メタデータ） (2026-07-13T02:39:38Z)
• Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
  ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。 すべてのモデルはヒンディー語で最小の精度を達成する。 原因ではなく検索は エラーの70%以上を 引き起こします
  論文  参考訳（メタデータ） (2026-05-21T17:42:07Z)
• Inside-Out: Hidden Factual Knowledge in LLMs [50.79758420289131]
  この研究は、大言語モデル(LLM)が出力で表現したものよりも、パラメータの事実的知識を符号化するかどうかを評価するためのフレームワークを示す。 まず、与えられた質問に対して、正解が上位にランクされている正解対の分数として、その知識の形式的定義を定量化する。 次に、このフレームワークを3つの人気のあるオープンウェイト LLM に適用し、クローズドブック QA セットアップのケーススタディを示す。
  論文  参考訳（メタデータ） (2025-03-19T15:21:48Z)
• Physics of Language Models: Part 3.2, Knowledge Manipulation [51.68385617116854]
  本稿では,4つの基本的な知識操作タスクについて検討する。 言語モデルは知識検索に優れるが、最も単純な分類や比較タスクにも耐え難い。 また, GPT-4のような近代的な事前学習言語モデルにも適用できる。
  論文  参考訳（メタデータ） (2023-09-25T17:50:41Z)
• Physics of Language Models: Part 3.1, Knowledge Storage and Extraction [51.68385617116854]
  大規模言語モデル(LLM)は膨大な量の世界の知識を格納することができ、しばしば質問応答によって抽出できる。 モデルが知識を抽出する能力と,トレーニングデータの多様な多様性尺度との間には,強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-09-25T17:37:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。