Fugu-MT 論文翻訳(概要): KARLA: Knowledge-base Augmented Retrieval for Language Models

論文の概要: KARLA: Knowledge-base Augmented Retrieval for Language Models

arxiv url: http://arxiv.org/abs/2606.26807v1
Date: Thu, 25 Jun 2026 09:44:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-26 18:46:32.230112
Title: KARLA: Knowledge-base Augmented Retrieval for Language Models
Title（参考訳）: KARLA: 言語モデルのための知識ベース拡張検索
Abstract要約: トークン生成時に,LLMが知識ベースから知識を自動的に抽出する手法を提案する。すなわち,(1) LLM出力の実際の知識は, LLM出力を再トレーニングすることなく更新可能であり, (2) LLM出力の成果は透明性と説明可能性の知識ベースにトレース可能であり,(3)より小さなモデルでは,より大きなモデルと同じ事実精度が得られる。
参考スコア（独自算出の注目度）: 12.509786917611125
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a new method that allows an LLM to automatically pull in factual knowledge from a knowledge base during token generation. This means that (1)~factual knowledge in the LLM output can be updated without retraining the LLM, (2)~facts in the LLM output can be traced to the knowledge base for transparency and explainability, and (3)~smaller models can achieve the same factual accuracy as larger models. Our core idea is to train the model to produce special tokens that trigger a query to the knowledge base. Our experiments show that our method improves factual grounding in both short and long-form generation, and allows factual revisions to take effect through KB edits rather than parameter updates.
Abstract（参考訳）: トークン生成時に,LLMが知識ベースから知識を自動的に抽出する手法を提案する。つまり,(1) LLM出力における実際の知識は, LLM出力を再トレーニングすることなく更新可能であり,(2) LLM出力における成果は, 透明性と説明可能性に関する知識ベースにトレース可能であり,(3) より小さなモデルでは, より大きなモデルと同じ事実的精度が得られる。私たちの中核的な考え方は、知識ベースへのクエリをトリガーする特別なトークンを生成するためにモデルをトレーニングすることにあります。実験の結果,提案手法は,短文と長文の両方において,現実的なグラウンド化を改善し,パラメータの更新ではなく,KBの編集によって実写的な修正を可能にすることがわかった。

関連論文リスト

PASTA: A Paraphrasing And Self-Training Approach for Knowledge Updating in LLMs [11.157564521901634]
PASTAは、ニュース記事からの詳細な事実情報を新しい知識として、大規模言語モデルに統合するためのフレームワークである。我々のフレームワークは、データ強化、質問応答生成、そして新しい自己学習DPOプロセスを組み合わせる。一般的な言語能力を維持しながら、0.02から0.02の精度で大幅に改善されている。
論文参考訳（メタデータ） (2026-06-27T13:02:13Z)
How new data permeates LLM knowledge and how to dilute it [19.96863816288517]
大規模言語モデルは、勾配ベースの更新の蓄積を通じて学び、継続的に学習する。新たな事実を学習することで、モデルは無関係な文脈でその知識を不適切に適用することができる。学習前のキーワードのトークン確率を計測することにより,新しい情報学習後のプライミングの度合いを予測することができることを示す。
論文参考訳（メタデータ） (2025-04-13T11:25:04Z)
Efficient Tuning of Large Language Models for Knowledge-Grounded Dialogue Generation [21.52726424882653]
KEDiTは、知識基底対話生成のための大規模言語モデルを微調整する効率的な方法である。まず、検索した知識を学習可能なパラメータに圧縮するために情報ボトルネックを使用し、計算オーバーヘッドを最小限に抑えながら重要な情報を保持する。ウィキペディアのウィザードと新しく構築されたPubMed-Dialogデータセットの実験結果は、KEDiTが文脈的に関連があり、情報的な応答を生成するのに優れていることを示している。
論文参考訳（メタデータ） (2025-04-10T13:54:36Z)
Enhancing LLM Knowledge Learning through Generalization [73.16975077770765]
我々は,LLMが様々な言い換えの文脈に与えられた同じ事実的知識トークンを継続的に予測する能力は,質問応答によってその知識を抽出する能力と正の相関性を示す。そこで本稿では,LLMの知識獲得能力を高めるための2つの戦略を提案する。
論文参考訳（メタデータ） (2025-03-05T17:56:20Z)
Mitigating Heterogeneous Token Overfitting in LLM Knowledge Editing [31.871873092103684]
大規模言語モデル (LLM) は様々な自然言語処理において顕著な性能を発揮している。静的コーパスでトレーニングされ、その知識は急速に変化する世界で急速に時代遅れになる。これは知識編集(KE)の発展を動機付け、無関係な他の知識を変更したり、事前訓練された能力を損なうことなく、LLMの特定の知識を更新する。
論文参考訳（メタデータ） (2025-02-02T00:10:51Z)
Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
論文参考訳（メタデータ） (2024-03-26T06:57:23Z)
Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文参考訳（メタデータ） (2024-03-10T16:57:10Z)
Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
論文参考訳（メタデータ） (2024-02-19T07:45:17Z)
Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文参考訳（メタデータ） (2023-12-26T07:24:46Z)
Forgetting before Learning: Utilizing Parametric Arithmetic for Knowledge Updating in Large Language Models [53.52344131257681]
本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。 2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
論文参考訳（メタデータ） (2023-11-14T09:12:40Z)
DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models [79.01926242857613]
大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
論文参考訳（メタデータ） (2023-09-07T17:45:31Z)
DocTER: Evaluating Document-based Knowledge Editing [53.14000724633775]
本稿では,手作業で3つの文書をラベル付けするのではなく,簡単にアクセスできる文書を用いた知識編集について検討する。総合的な4つのパースペクティブ評価: 編集成功、局所性、推論、言語間移動。一般的な知識編集手法の実験は、文書による編集が三重項を使用するよりもはるかに大きな課題を示すことを示した。
論文参考訳（メタデータ） (2023-08-19T09:17:19Z)
Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling [34.59678835272862]
代表的大規模言語モデル(LLM)であるChatGPTは、その強力な創発的能力のために注目されている。本稿では,知識グラフ強化大言語モデル(KGLLM)によるLLMの強化を提案する。 KGLLMはLLMの事実推論能力を高めるソリューションを提供し、LLM研究のための新たな道を開く。
論文参考訳（メタデータ） (2023-06-20T12:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。