論文の概要: KoCo: Conditioning Language Model Pre-training on Knowledge Coordinates

• arxiv url: http://arxiv.org/abs/2604.12397v1
• Date: Tue, 14 Apr 2026 07:33:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.317688
• Title: KoCo: Conditioning Language Model Pre-training on Knowledge Coordinates
• Title（参考訳）: KoCo:知識コーディネートに基づく条件付き言語モデル事前学習
• Authors: Yudong Li, Jiawei Cai, Linlin Shen,
• Abstract要約: 我々は,すべての文書を3次元意味座標にマッピングするシンプルな手法である知識コーディネート・コンディショニング(KoCo)を導入する。 実験の結果,KoCoは10の下流タスクにおける性能を著しく向上し,事前学習の収束を約30%加速することがわかった。
• 参考スコア（独自算出の注目度）: 47.26152697001164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard Large Language Model (LLM) pre-training typically treats corpora as flattened token sequences, often overlooking the real-world context that humans naturally rely on to contextualize information. To bridge this gap, we introduce Knowledge Coordinate Conditioning (KoCo), a simple method that maps every document into a three-dimensional semantic coordinate. By prepending these coordinates as textual prefixes for pre-training, we aim to equip the model with explicit contextual awareness to learn the documents within the real-world knowledge structure. Experiment results demonstrate that KoCo significantly enhances performance across 10 downstream tasks and accelerates pre-training convergence by approximately 30\%. Furthermore, our analysis indicates that explicitly modeling knowledge coordinates helps the model distinguish stable facts from noise, effectively mitigating hallucination in generated outputs.
• Abstract（参考訳）: 標準大言語モデル(LLM)の事前訓練は通常、コーパスを平らなトークンシーケンスとして扱う。 このギャップを埋めるために、すべての文書を3次元意味座標にマッピングする簡単な方法である知識調整条件(KoCo)を導入する。 本研究は,これらの座標を事前学習のためのテキストプレフィックスとして予見することにより,実世界の知識構造内の文書を学習するために,文脈認識を明確化することを目的とする。 実験の結果,KoCoは10の下流タスクにおける性能を著しく向上し,事前学習の収束を約30 %加速することがわかった。 さらに,本研究では,知識座標を明示的にモデル化することで,安定な事実とノイズを区別し,生成した出力の幻覚を効果的に緩和できることを示す。

関連論文リスト

• STEAM: A Semantic-Level Knowledge Editing Framework for Large Language Models [10.320062273796331]
  大規模言語モデルは、大規模な事前訓練中に取得した膨大な事実知識を格納する。 知識編集は、完全に再トレーニングすることなく、時代遅れまたは誤った事実を更新するための有望なソリューションとして登場した。 モデルの知識構造に更新された知識を統合する意味レベルの知識編集フレームワークであるtextscSteamを提案する。
  論文  参考訳（メタデータ） (2025-10-12T01:25:13Z)
• Metadata Conditioning Accelerates Language Model Pre-training [76.54265482251454]
  そこで本研究では,Metadata Conditioning then Cooldown (MeCo) と呼ばれる新しい手法を提案する。 MeCoは、さまざまなモデルスケール(600Mから8Bパラメータ)とトレーニングソース(C4、RefinedWeb、DCLM)の事前トレーニングを著しく加速する MeCoは驚くほどシンプルで、計算オーバーヘッドを追加せず、より有能でステアブルな言語モデルを生成するという約束を示す。
  論文  参考訳（メタデータ） (2025-01-03T18:59:23Z)
• IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning [94.52149969720712]
  IntCoOpは、プロンプトチューニング中に属性レベルの帰納バイアスとクラス埋め込みを共同で調整することを学ぶ。 IntCoOpは10種類のデータセットの平均パフォーマンスを7.35%改善した。
  論文  参考訳（メタデータ） (2024-06-19T16:37:31Z)
• A Condensed Transition Graph Framework for Zero-shot Link Prediction with Large Language Models [20.220781775335645]
  ゼロショットリンク予測(CTLP)のための凝縮遷移グラフフレームワークを提案する。 CTLPは、すべてのパス情報を線形時間複雑性でエンコードし、エンティティ間の見えない関係を予測する。 提案手法は,3つの標準ZSLPデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-16T16:02:33Z)
• MoCoSA: Momentum Contrast for Knowledge Graph Completion with Structure-Augmented Pre-trained Language Models [11.57782182864771]
  構造強化事前学習言語モデル(MoCoSA)を用いた知識グラフ補完のためのMomentum Contrastを提案する。 また,WN18RRでは2.5%,OpenBG500では21%向上した。
  論文  参考訳（メタデータ） (2023-08-16T08:09:10Z)
• Simple Token-Level Confidence Improves Caption Correctness [117.33497608933169]
  Token-Level Confidence(TLC)は、字幕の正確さを評価するシンプルな方法であるが、驚くほど効果的である。 画像キャプションに関する視覚言語モデルを微調整し、画像と提案されたキャプションをモデルに入力し、単語やシーケンスに対するトークンの信頼度を集計し、画像キャプションの一貫性を推定する。
  論文  参考訳（メタデータ） (2023-05-11T17:58:17Z)
• Tracing Origins: Coref-aware Machine Reading Comprehension [43.352833140317486]
  そこで,本研究では,アナフォリック表現を接続する際の人間の読影過程を模倣し,コア参照情報を活用し,事前学習モデルから単語の埋め込みを強化する。 学習段階におけるコア参照情報の明示的な組み込みは,事前学習言語モデルの訓練において,コア参照情報の組み込みよりも優れていたことを実証した。
  論文  参考訳（メタデータ） (2021-10-15T09:28:35Z)
• Consistent Explanations by Contrastive Learning [15.80891456718324]
  Grad-CAMのようなポストホック評価技術により、人間は特定のネットワーク決定に責任のある空間領域を検査することができる。 より一貫した説明を生み出すためにモデルをトレーニングするための新しいトレーニング手法を提案する。 提案手法であるContrastive Grad-CAM Consistency (CGC) は,人間のアノテーションと一致したGrad-CAM解釈熱マップを生成する。
  論文  参考訳（メタデータ） (2021-10-01T16:49:16Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。