論文の概要: Can Language Models Play the Wikipedia Game?
- arxiv url: http://arxiv.org/abs/2610.13948v1
- Date: Fri, 09 Oct 2026 17:59:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.724778
- Title: Can Language Models Play the Wikipedia Game?
- Title（参考訳）: 言語モデルはウィキペディアゲームをできるのか?
- Abstract要約: 我々はウィキペディアゲームを用いて、類似情報検索タスクで言語モデルをテストした。
ゲームでは、プレイヤーはアイテムリンクのみを使用して対象のアイテムに到達しなければならない。
我々は5つのウィキペディア言語と5つの学術文献データセットの文埋め込みモデルとLLMを比較した。
- 参考スコア（独自算出の注目度）: 41.99844472131922
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models increasingly support or automate information retrieval from document collections too large to index. This task is difficult when it requires specialist linguistic or scientific knowledge. We used the Wikipedia Game to test language models on an analogous information retrieval task. In the game, players must reach a target article using only article links. We compared sentence embedding models and LLMs across five Wikipedia languages and five academic-literature datasets. We construct very large local graphs of Wikipedia pages and of paper citations using OpenAlex and provide code to build and navigate them. This allows the study of language models' navigation capabilities without relying on third-party APIs. We compared the models with human and TF-IDF benchmarks. The Wikipedia Game format enables robust comparisons across techniques, languages, and domains. No model significantly outperformed humans, although the best models (GPT-o3 mini, GPT-4o, QwQ:32B, and DeepSeek-R1:70B) achieved comparable success. Performance and rankings varied across languages and topics, with implications for practitioners utilising these techniques.
- Abstract（参考訳）: 言語モデルは、インデックスに大きすぎるドキュメントコレクションからの情報検索をサポートするか、自動化する。
専門的な言語学や科学的知識を必要とする場合、この課題は困難である。
我々はウィキペディアゲームを用いて、類似情報検索タスクで言語モデルをテストした。
ゲームでは、プレイヤーはアイテムリンクのみを使用して対象のアイテムに到達しなければならない。
文章埋め込みモデルとLLMを5つのウィキペディア言語と5つの学術文献データセットで比較した。
ウィキペディアのページと論文引用の非常に大きなローカルグラフをOpenAlexを使って構築し、それらを構築・ナビゲートするためのコードを提供します。
これにより、サードパーティのAPIに頼ることなく、言語モデルのナビゲーション機能の研究が可能になる。
モデルとヒトとTF-IDFのベンチマークを比較した。
Wikipedia Gameフォーマットは、技術、言語、ドメイン間の堅牢な比較を可能にする。
優れたモデル(GPT-o3 mini、GPT-4o、QwQ:32B、DeepSeek-R1:70B)は同等の成功を収めた。
パフォーマンスとランキングは言語やトピックによって異なり、実践者がこれらのテクニックを活用することが示唆された。
関連論文リスト
- An Open Multilingual System for Scoring Readability of Wikipedia [3.992677070507323]
ウィキペディア記事の読みやすさを評価するための多言語モデルを開発した。
ウィキペディアから簡略化されたウィキペディアやオンラインの子供まで、14言語にまたがる新しい多言語データセットを作成します。
我々のモデルはゼロショットシナリオでよく機能し、14言語で80%以上のランキング精度が得られることを示す。
論文 参考訳（メタデータ） (2024-06-03T23:07:18Z) - Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws [51.68385617116854]
スケーリング法則は、言語モデルのサイズと能力の関係を記述している。
我々は、ウィキペディアのページから(米国、首都ワシントンD.C.など)ドメインとして表される事実知識に焦点を当てる。
7Bモデルは、英語のウィキペディアと教科書を合わせた14Bビットの知識を保存できる。
論文 参考訳（メタデータ） (2024-04-08T11:11:31Z) - Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳（メタデータ） (2024-03-26T12:47:39Z) - Language Models are Universal Embedders [45.8316643119292]
大きな言語モデル(LLM)革命において、埋め込みは様々なシステムの重要な構成要素である。
組込み機を構築するための戦略を提案し,ユニバーサル評価ベンチマークを導入する。
実験結果から,学習モデルは言語やタスクにまたがる優れた埋め込みを生成するのに長けていることがわかった。
論文 参考訳（メタデータ） (2023-10-12T11:25:46Z) - SKILL: Structured Knowledge Infusion for Large Language Models [46.34209061364282]
構造化知識を大規模言語モデル(LLM)に注入する手法を提案する。
Wikidata KGで事前学習したモデルは,FreebaseQAとWikiHopのT5ベースラインよりも優れていることを示す。
また,T5ベースラインと比較して,MetaQAタスクの正確なマッチスコアが3倍向上した。
論文 参考訳（メタデータ） (2022-05-17T09:12:22Z) - mGPT: Few-Shot Learners Go Multilingual [1.4354798873010843]
本稿では,60言語で訓練された13億のパラメータと13億のパラメータを持つ2つの自己回帰型GPT様モデルを提案する。
我々はGPT-2ソースとスパースアテンション機構を用いてGPT-3アーキテクチャを再現する。
その結果得られたモデルは、Facebookが最近リリースしたXGLMモデルと同等のパフォーマンスを示している。
論文 参考訳（メタデータ） (2022-04-15T13:02:33Z) - Considerations for Multilingual Wikipedia Research [1.5736899098702972]
ウィキペディアの非英語版は、データセットやモデルにさらに多くの言語版が組み込まれている。
本論文は,ウィキペディアの異なる言語版間でどのような違いが生じるのか,研究者が理解するための背景を提供することを目的とする。
論文 参考訳（メタデータ） (2022-04-05T20:34:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。