論文の概要: Exploiting Contextual Knowledge in LLMs through V-usable Information based Layer Enhancement

• arxiv url: http://arxiv.org/abs/2504.15630v1
• Date: Tue, 22 Apr 2025 06:42:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 21:58:44.557744
• Title: Exploiting Contextual Knowledge in LLMs through V-usable Information based Layer Enhancement
• Title（参考訳）: V- Useable Information Based Layer Enhancement によるLCMにおける文脈知識の爆発的展開
• Authors: Xiaowei Yuan, Zhao Yang, Ziyang Huang, Yequan Wang, Siqi Fan, Yiming Ju, Jun Zhao, Kang Liu,
• Abstract要約: 本研究では,大規模言語モデルにおける文脈知識の活用を促進するために,コンテキスト認識層拡張(CaLE)を提案する。 CaLEは、最適層におけるコンテキスト情報の成長を戦略的に増幅し、最終層における表現を豊かにする。 本実験は,質問応答タスクにおいて,CaLEが文脈忠実な生成を効果的に改善できることを実証する。
• 参考スコア（独自算出の注目度）: 20.183957585014042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities in various tasks, yet they often struggle with context-faithfulness generations that properly reflect contextual knowledge. While existing approaches focus on enhancing the decoding strategies, they ignore the fundamental mechanism of how contextual information is processed within LLMs' internal states. As a result, LLMs remain limited in their ability to fully leverage contextual knowledge. In this paper, we propose Context-aware Layer Enhancement (CaLE), a novel intervention method that enhances the utilization of contextual knowledge within LLMs' internal representations. By employing V-usable information analysis, CaLE strategically amplifies the growth of contextual information at an optimal layer, thereby enriching representations in the final layer. Our experiments demonstrate that CaLE effectively improves context-faithful generation in Question-Answering tasks, particularly in scenarios involving unknown or conflicting contextual knowledge.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示してきたが、文脈的知識を適切に反映する文脈忠実な世代としばしば戦っている。 既存のアプローチではデコード戦略の強化に重点を置いているが、LLMの内部状態内でのコンテキスト情報処理の基本的なメカニズムを無視している。 結果として、LLMは文脈知識を完全に活用する能力に限られている。 本稿では,LLMの内部表現における文脈知識の活用を促進する新しい介入手法であるコンテキスト認識層拡張(CaLE)を提案する。 V使用可能な情報分析を利用することで、CaLEは最適な層におけるコンテキスト情報の成長を戦略的に増幅し、最終層における表現を豊かにする。 本実験は,質問応答タスク,特に未知あるいは矛盾する文脈知識を含むシナリオにおいて,CaLEが文脈忠実な生成を効果的に改善できることを実証する。

関連論文リスト

• Effective LLM Knowledge Learning via Model Generalization [73.16975077770765]
  大規模言語モデル(LLM)は、広範囲な世界知識を含む膨大なドキュメントに基づいて訓練されている。 自己回帰的な事前学習を通じて知識がどのように獲得されるかは、まだよく理解されていない。 本稿では,LLM知識学習の理解と改善に焦点をあてる。
  論文  参考訳（メタデータ） (2025-03-05T17:56:20Z)
• Decoding Knowledge in Large Language Models: A Framework for Categorization and Comprehension [14.039653386385519]
  大規模言語モデル(LLM)は知識を取得し、保持し、適用する。 本稿では,LLMの知識を2次元に分類する新しいフレームワークK-(CSA)2を紹介する。
  論文  参考訳（メタデータ） (2025-01-02T16:34:10Z)
• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• Retrieval Meets Reasoning: Dynamic In-Context Editing for Long-Text Understanding [11.5386284281652]
  動的インテキスト編集による情報検索を再現する新しい手法を提案する。 長大な文脈を拡張可能な外部知識として扱うことにより,本手法は対話的に関連情報を収集・統合する。 実験結果から,提案手法はコンテキスト限定LLMを効果的に活用し,マルチホップ推論に有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-18T06:54:28Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• How Large Language Models Encode Context Knowledge? A Layer-Wise Probing Study [27.23388511249688]
  本稿では,知識を符号化する大規模言語モデルのレイヤーワイド能力について検討する。 探索データセットの構築にはChatGPTの強力な生成能力を活用する。 矛盾する知識と新たに獲得した知識の実験は、LLMが上位層でより多くのコンテキスト知識をエンコードすることを好んでいることを示している。
  論文  参考訳（メタデータ） (2024-02-25T11:15:42Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• KALM: Knowledge-Aware Integration of Local, Document, and Global Contexts for Long Document Understanding [27.4842322089676]
  KALMは、ローカル、文書レベル、グローバルコンテキストにおける知識を共同で活用する知識認識言語モデルである。 6つの長い文書理解タスクとデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-10-08T20:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。