論文の概要: Self Knowledge Re-expression: A Fully Local Method for Adapting LLMs to Tasks Using Intrinsic Knowledge

• arxiv url: http://arxiv.org/abs/2604.22939v1
• Date: Fri, 24 Apr 2026 18:26:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.062097
• Title: Self Knowledge Re-expression: A Fully Local Method for Adapting LLMs to Tasks Using Intrinsic Knowledge
• Title（参考訳）: 自己知識再表現:本質的な知識を用いたタスクへのLLM適応のための完全局所的手法
• Authors: Mengyu Wang, Xiaoying Zhi, Zhiyi Li, Robin Schmucker, Shay B. Cohen, Tiejun Ma, Fran Silavong,
• Abstract要約: 次トーケン予測は、特殊で非生成的なタスクのパフォーマンスを制約する。 本稿では,タスクに依存しない適応手法である自己知識再表現(SKR)を提案する。 大規模な財務文書データセットの実験は、大幅な改善を示している。
• 参考スコア（独自算出の注目度）: 23.82166407630744
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While the next-token prediction (NTP) paradigm enables large language models (LLMs) to express their intrinsic knowledge, its sequential nature constrains performance on specialized, non-generative tasks. We attribute this performance bottleneck to the LLMs' knowledge expression mechanism, rather than to deficiencies in knowledge acquisition. To address this, we propose Self-Knowledge Re-expression (SKR), a novel, task-agnostic adaptation method. SKR transforms the LLM's output from generic token generation to highly efficient, task-specific expression. SKR is a fully local method that uses only unannotated data, requiring neither human supervision nor model distillation. Experiments on a large financial document dataset demonstrate substantial improvements: over 40% in Recall@1 for information retrieval tasks, over 76% reduction in object detection latency, and over 33% increase in anomaly detection AUPRC. Our results on the MMDocRAG dataset surpass those of leading retrieval models by at least 12.6%.
• Abstract（参考訳）: 次世代の予測(NTP)パラダイムでは、大きな言語モデル(LLM)が固有の知識を表現できるが、そのシーケンシャルな性質は特殊で非生成的なタスクのパフォーマンスを制限している。 この性能ボトルネックは、知識獲得の欠陥ではなく、LLMの知識表現機構に起因している。 そこで本研究では,タスクに依存しない適応手法である自己知識再表現(SKR)を提案する。 SKR は LLM の出力をジェネリックトークン生成から高効率なタスク固有表現に変換する。 SKRは完全に局所的な手法であり、注釈のないデータのみを使用し、人間の監督も模型蒸留も必要としない。 情報検索タスクのRecall@1の40%以上、オブジェクト検出遅延の76%以上、異常検出AUPRCの33%以上である。 MMDocRAGデータセットに関する我々の結果は、先行する検索モデルのデータセットを少なくとも12.6%上回った。

関連論文リスト

• Towards Compositional Generalization in LLMs for Smart Contract Security: A Case Study on Reentrancy Vulnerabilities [35.39583123277091]
  本稿では,原子タスクの分解と融合に基づくポストトレーニングアルゴリズムを提案する。 再帰的脆弱性検出タスクを4つの線形独立原子タスクに分解する。 合成データセットのトレーニングにより、3つのコンパイラ検証データセットを生成する。 次に、Slitherツールを使用して、制御フローグラフとデータフローグラフから構造情報を抽出する。
  論文  参考訳（メタデータ） (2026-01-11T13:52:07Z)
• CiteFix: Enhancing RAG Accuracy Through Post-Processing Citation Correction [0.2548904650574671]
  Retrieval Augmented Generation (RAG) はLarge Language Models (LLM) の強力な応用として登場した。 本研究は,情報検索および要約作業におけるAI生成コンテンツの信頼性と信頼性の向上に寄与する。
  論文  参考訳（メタデータ） (2025-04-22T06:41:25Z)
• Learning Task Representations from In-Context Learning [67.66042137487287]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Language Models (Mostly) Know When to Stop Reading [24.246459354913146]
  大規模言語モデル(LLM)は、クエリに応答するために必要な情報がコンテキスト内にローカライズされた場合、入力コンテキスト全体を無差別に処理する。 タスク関連情報を取得する際に, LLM が自己決定処理を行うことのできる新しい手法である動的コンテキストカットオフを提案する。
  論文  参考訳（メタデータ） (2025-02-03T03:38:29Z)
• Traceable LLM-based validation of statements in knowledge graphs [0.0]
  本稿では,LPMを用いたRDFトリプルの検証手法を提案する。 LLMは、ユーザプロンプトに対する応答を構築するために使用される情報の起源を、現在確実に特定できないため、我々のアプローチは、内部のLLMの事実知識を完全に使用することを避けることである。 代わりに、認証されたRDF文は、ウェブ検索またはウィキペディアで検索された外部文書の断片と比較される。
  論文  参考訳（メタデータ） (2024-09-11T12:27:41Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。