論文の概要: Co-LMLM: Continuous-Query Limited Memory Language Models

• arxiv url: http://arxiv.org/abs/2607.07707v1
• Date: Wed, 08 Jul 2026 17:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.489332
• Title: Co-LMLM: Continuous-Query Limited Memory Language Models
• Title（参考訳）: Co-LMLM: 連続クエリ限定メモリ言語モデル
• Authors: Yair Feldman, Linxi Zhao, Nathan Godey, Dongyoung Go, Yilun Hua, Kilian Q. Weinberger, Jennifer J. Sun, Yoav Artzi,
• Abstract要約: 限定記憶言語モデルは知識ベース(KB)への事前学習中に事実知識を外部化する KB が連続鍵とテキスト知識値とをペアリングする連続クエリ LMLM (CO-LMLM) を提案する。 CO-LMLMは柔軟なベクトルクエリを最小限のコストで生成する一方で、人間可読で帰属可能な知識をその生成に組み込む。
• 参考スコア（独自算出の注目度）: 29.846433433159387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Limited memory language models (LMLMs) externalize factual knowledge during pretraining to a knowledge base (KB), rather than memorizing it in their weights. During generation, the model then fetches knowledge from the KB as needed. This recently introduced paradigm provides multiple advantages, including knowledge control capabilities that remain beyond conventional LLMs. We propose continuous-query LMLM (CO-LMLM), where the KB pairs continuous keys with textual knowledge values, a significant departure from prior reliance on relational KB and queries. CO-LMLM generates flexible vector queries at minimal cost, while still integrating human-readable and attributable retrieved knowledge into its generation. We pair this design with an annotation pipeline that tags free-form factual spans in arbitrary text, removing prior work's restriction to Wikipedia. Across pretraining on Wikipedia and FineWeb-Edu and at multiple model scales, CO-LMLM outperforms prior LMLMs and vanilla LLMs in both perplexity and factual precision. At 360M scale, this includes lower perplexity than models pretrained on 40x more data, and SimpleQA-verified performance that is in line with gpt-4o-mini and higher than Claude Sonnet 4.5.
• Abstract（参考訳）: 限定記憶言語モデル(LMLM)は、知識ベース(KB)への事前訓練中に、それを重みで記憶するのではなく、事実知識を外部化する。 生成中、モデルは必要に応じてKBから知識を取得する。 最近導入されたこのパラダイムは、従来のLLMを超える知識制御機能を含む、いくつかの利点を提供している。 提案する連続クエリLM(CO-LMLM)では, KB が連続キーとテキストの知識値とをペアリングし, リレーショナルKB やクエリへの事前依存から大きく離れる。 CO-LMLMは柔軟なベクトルクエリを最小限のコストで生成する一方で、人間可読で帰属可能な知識をその生成に組み込む。 この設計とアノテーションパイプラインを組み合わせて、任意のテキストで自由形式の事実スパンをタグ付けし、Wikipediaに対する以前の作業の制限を取り除きます。 Wikipedia や FineWeb-Edu での事前トレーニングや、複数のモデルスケールでのCO-LMLM は、従来の LMLM やバニラ LLM よりも複雑度と事実精度の両方で優れている。 360Mスケールでは、40倍以上のデータで事前訓練されたモデルよりも難易度が低く、gpt-4o-miniに準拠したSimpleQA検証性能がクロードソネット4.5よりも高い。

関連論文リスト

• KARLA: Knowledge-base Augmented Retrieval for Language Models [12.509786917611125]
  トークン生成時に,LLMが知識ベースから知識を自動的に抽出する手法を提案する。 すなわち,(1) LLM出力の実際の知識は, LLM出力を再トレーニングすることなく更新可能であり, (2) LLM出力の成果は透明性と説明可能性の知識ベースにトレース可能であり,(3)より小さなモデルでは,より大きなモデルと同じ事実精度が得られる。
  論文  参考訳（メタデータ） (2026-06-25T09:44:40Z)
• KBSpec: LLM-driven Formal Specification Generation with Evolving Domain Knowledge Base [9.796586560498026]
  本稿では,多言語モデル(LLM)を形式仕様言語コーパスのデュアルソース知識で拡張するKBSpecを提案する。 その結果,KBSpec は最新の LLM ベースのアプローチよりも10-25% の検証パス率向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2026-06-19T11:37:00Z)
• Efficient Knowledge Probing of Large Language Models by Adapting Pre-trained Embeddings [27.08405655200845]
  大規模言語モデル(LLM)は、科学、歴史、地理など様々な分野の知識を取得する。 これらの手法は、特定の事実に関する LLM の知識を調査するために、基礎となるモデルを前方通過する必要がある。 LLMのプロキシとしてテキストやグラフとして事実知識を効果的にエンコードする埋め込みモデルを提案する。
  論文  参考訳（メタデータ） (2025-08-08T05:32:31Z)
• KBLaM: Knowledge Base augmented Language Model [8.247901935078357]
  本稿では,Large Language Model (LLM) を外部知識で拡張するための知識ベース拡張言語モデル (KBLaM) を提案する。 KBLaMは文書のコーパスから構築された知識ベース(KB)で動作し、KB内の各知識を連続鍵値ベクトル対に変換する。 提案手法では,A10080GBの1つのGPU上で,8Kコンテキストウィンドウのみの8B事前学習LLMに,10Kトリプル以上の大容量KBを組み込むことが可能である。
  論文  参考訳（メタデータ） (2024-10-14T12:45:10Z)
• How Reliable are LLMs as Knowledge Bases? Re-thinking Facutality and Consistency [60.25969380388974]
  大規模言語モデル (LLM) は知識ベース (KB) として研究されている。 現在の評価手法は、信頼性の高い性能の他の決定的な基準を見越して、知識の保持に過度に焦点を絞っている。 我々は,事実と一貫性を定量化するための新しい基準と指標を提案し,最終的な信頼性スコアを導いた。
  論文  参考訳（メタデータ） (2024-07-18T15:20:18Z)
• Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering [7.888547093390469]
  大言語モデル(LLM)は、ゼロショットのクローズドブック質問応答タスクを実行することができる。 我々は,LSMの入力において,その知識を直接拡張することを提案する。 我々のフレームワークであるKAPING(Knowledge-Augmented Language Model Prompting)は、モデルトレーニングを必要としないため、完全にゼロショットである。
  論文  参考訳（メタデータ） (2023-06-07T04:15:21Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
  大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。 それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。 本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T15:05:16Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。