論文の概要: LEKA:LLM-Enhanced Knowledge Augmentation

• arxiv url: http://arxiv.org/abs/2501.17802v1
• Date: Wed, 29 Jan 2025 17:44:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:53:33.975364
• Title: LEKA:LLM-Enhanced Knowledge Augmentation
• Title（参考訳）: LEKA:LLMによる知識向上
• Authors: Xinhao Zhang, Jinghan Zhang, Fengran Mo, Dongjie Wang, Yanjie Fu, Kunpeng Liu,
• Abstract要約: 人間は類推学習と知識伝達に優れる。 モデルは受動的に取得し、知識から積極的にアクセスし、学習するようになる。 知識伝達のための知識拡張手法LEKAを開発した。
• 参考スコア（独自算出の注目度）: 24.552995956148145
• License:
• Abstract: Humans excel in analogical learning and knowledge transfer and, more importantly, possess a unique understanding of identifying appropriate sources of knowledge. From a model's perspective, this presents an interesting challenge. If models could autonomously retrieve knowledge useful for transfer or decision-making to solve problems, they would transition from passively acquiring to actively accessing and learning from knowledge. However, filling models with knowledge is relatively straightforward -- it simply requires more training and accessible knowledge bases. The more complex task is teaching models about which knowledge can be analogized and transferred. Therefore, we design a knowledge augmentation method LEKA for knowledge transfer that actively searches for suitable knowledge sources that can enrich the target domain's knowledge. This LEKA method extracts key information from textual information from the target domain, retrieves pertinent data from external data libraries, and harmonizes retrieved data with the target domain data in feature space and marginal probability measures. We validate the effectiveness of our approach through extensive experiments across various domains and demonstrate significant improvements over traditional methods in reducing computational costs, automating data alignment, and optimizing transfer learning outcomes.
• Abstract（参考訳）: 人間は類推的な学習と知識伝達に優れており、より重要なのは、適切な知識の源を特定するという独自の理解を持っていることである。 モデルの観点からすると、これは興味深い課題です。 もしモデルが、トランスファーや意思決定に有用な知識を自律的に取り出すことができれば、彼らは受動的に取得し、知識から積極的にアクセスし、学習するようになるでしょう。 しかし、モデルに知識を詰め込むのは比較的単純です。 より複雑なタスクは、どの知識をアナログ化し、転送できるかをモデルに教えることである。 そこで我々は,対象ドメインの知識を豊かにするための適切な知識ソースを積極的に検索する知識伝達のための知識増強手法LEKAを設計する。 LEKA法は、対象ドメインからテキスト情報からキー情報を抽出し、外部データライブラリから関連するデータを検索し、検索したデータを特徴空間および限界確率測定で対象ドメインデータと調和させる。 提案手法の有効性は,様々な領域にわたる広範な実験を通じて検証し,計算コストの削減,データアライメントの自動化,転送学習結果の最適化など,従来の手法よりも大幅に改善されていることを示す。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [73.34893326181046]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Informed Meta-Learning [55.2480439325792]
  メタラーニングとインシデントMLは、事前知識をMLパイプラインに組み込むための2つのアプローチとして際立っている。 我々は,非構造化知識表現からの事前の取り込みを容易にする,情報メタラーニングというハイブリッドパラダイムを定式化する。 データ効率、観測ノイズに対する堅牢性、タスク分散シフトを改善する上で、情報メタラーニングの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-02-25T15:08:37Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [58.61492157691623]
  知識を統合する手法が開発され、外部モジュールを通してLLMをドメイン固有の知識グラフに拡張した。 本研究は,未知の知識をLLMに効率的に統合することで,未知の知識を不要に重複させるという,新たな問題に焦点をあてる。 新しい知識を導入するリスクは、既存の知識を忘れることである。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• Bridged-GNN: Knowledge Bridge Learning for Effective Knowledge Transfer [65.42096702428347]
  グラフニューラルネットワーク(GNN)は、隣接するノードから情報を集約する。 知識ブリッジ学習(KBL)は、対象ドメインに対する知識強化後部分布を学習する。 Bridged-GNNには、Bridged-Graphを構築するためのAdaptive Knowledge Retrievalモジュールと、Graph Knowledge Transferモジュールが含まれている。
  論文  参考訳（メタデータ） (2023-08-18T12:14:51Z)
• Graph Enabled Cross-Domain Knowledge Transfer [1.52292571922932]
  クロスドメイン・ナレッジ・トランスファー(クロスドメイン・ナレッジ・トランスファー)は、優れた表現学習と関心領域における知識不足のギャップを軽減するためのアプローチである。 機械学習の観点からは、半教師付き学習のパラダイムは、基礎的な真実なしに大量のデータを活用し、目覚ましい学習性能向上を実現する。
  論文  参考訳（メタデータ） (2023-04-07T03:02:10Z)
• Multi-Source Transfer Learning for Deep Model-Based Reinforcement Learning [0.6445605125467572]
  強化学習における重要な課題は、エージェントが与えられたタスクをマスターするために必要な環境との相互作用の数を減らすことである。 伝達学習は、以前に学習したタスクから知識を再利用することでこの問題に対処することを提案する。 本研究の目的は,モジュール型マルチソーストランスファー学習技術を用いて,これらの課題に対処することである。
  論文  参考訳（メタデータ） (2022-05-28T12:04:52Z)
• Transferability in Deep Learning: A Survey [80.67296873915176]
  知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。 本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。 我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-15T15:03:17Z)
• Data-Free Knowledge Transfer: A Survey [13.335198869928167]
  知識蒸留(KD)とドメイン適応(DA)が提案され,研究のハイライトとなっている。 どちらも、元のトレーニングデータを持つ十分に訓練されたモデルから有用な情報を転送することを目的としている。 近年,データフリーな知識伝達パラダイムが注目されている。
  論文  参考訳（メタデータ） (2021-12-31T03:39:42Z)
• Fractional Transfer Learning for Deep Model-Based Reinforcement Learning [0.966840768820136]
  強化学習(Reinforcement Learning, RL)は、RLエージェントが複雑なタスクを実行することを学ぶために大量のデータを必要とすることで知られている。 モデルベースRLの最近の進歩により、エージェントはずっとデータ効率が良い。 簡単な代替手法として、分数変換学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T12:44:42Z)
• Towards a Universal Continuous Knowledge Base [49.95342223987143]
  複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
  論文  参考訳（メタデータ） (2020-12-25T12:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。