論文の概要: KBAlign: Efficient Self Adaptation on Specific Knowledge Bases

• arxiv url: http://arxiv.org/abs/2411.14790v4
• Date: Thu, 15 May 2025 13:02:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 14:06:35.64023
• Title: KBAlign: Efficient Self Adaptation on Specific Knowledge Bases
• Title（参考訳）: KBAlign: 特定の知識ベースによる効率的な自己適応
• Authors: Zheni Zeng, Yuxuan Chen, Shi Yu, Ruobing Wang, Yukun Yan, Zhenghao Liu, Shuo Wang, Xu Han, Zhiyuan Liu, Maosong Sun,
• Abstract要約: 本稿では,効率的なモデル適応によりRAGシステムを強化する自己教師型フレームワークKBAlignを提案する。 私たちのキーとなる洞察は、2つの革新的なメカニズムを通じて、モデルの本質的な能力を知識の整合性に活用することです。 KBAlign は GPT-4 による適応によって得られる性能向上の90%を達成できることを示した。
• 参考スコア（独自算出の注目度）: 73.34893326181046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although retrieval-augmented generation (RAG) remains essential for knowledge-based question answering (KBQA), current paradigms face critical challenges under specific domains. Existing methods struggle with targeted adaptation on small-scale KBs: vanilla unsupervised training exhibits poor effectiveness, while fine-tuning incurs prohibitive costs of external signals. We present KBAlign, a self-supervised framework that enhances RAG systems through efficient model adaptation. Our key insight is to leverage the model's intrinsic capabilities for knowledge alignment through two innovative mechanisms: multi-grained self-annotation that captures global knowledge for data construction, and iterative tuning that accelerates convergence through self verification. This framework enables cost-effective model adaptation to specific textual KBs, without human supervision or external model assistance. Experiments demonstrate that KBAlign can achieve 90\% of the performance gain obtained through GPT-4-supervised adaptation, while relying entirely on self-annotation of much smaller models. KBAlign significantly improves downstream QA accuracy across multiple domains with tiny costs, particularly benefiting scenarios requiring deep knowledge integration from specialized corpora. We release our experimental data, models, and process analyses to the community for further exploration (https://github.com/thunlp/KBAlign).
• Abstract（参考訳）: 知識に基づく質問応答(KBQA)には、検索強化世代(RAG)が不可欠であるが、現在のパラダイムは特定のドメインの下で重要な課題に直面している。 バニラ教師なしの訓練は効果が低く、微調整は外部信号の禁止的なコストを発生させる。 本稿では,効率的なモデル適応によりRAGシステムを強化する自己教師型フレームワークKBAlignを提案する。 我々の重要な洞察は、データ構築のグローバルな知識をキャプチャする多粒な自己アノテーションと、自己検証を通じて収束を加速する反復的チューニングという、2つの革新的なメカニズムを通じて、モデルの本質的な能力を知識アライメントに活用することである。 このフレームワークは、人間の監督や外部モデル補助なしに、特定のテキストKBへのコスト効率の良いモデル適応を可能にする。 実験により、KBAlign は GPT-4 の教師付き適応によって得られる性能の90%を達成できることが示された。 KBAlignは、小さなコストで複数のドメインのダウンストリームQA精度を大幅に改善する。 実験データ、モデル、プロセス分析をコミュニティにリリースし、さらなる調査を行っています(https://github.com/thunlp/KBAlign)。

関連論文リスト

• Active Learning Methods for Efficient Data Utilization and Model Performance Enhancement [5.4044723481768235]
  本稿では,より少ないラベル付き例を用いてモデルの性能向上を支援する機械学習の戦略である,アクティブラーニング(AL)の概要を紹介する。 ALの基本概念を導入し、コンピュータビジョン、自然言語処理、トランスファーラーニング、実世界のアプリケーションなど、様々な分野でどのように使われているかについて議論する。
  論文  参考訳（メタデータ） (2025-04-21T20:42:13Z)
• UIPE: Enhancing LLM Unlearning by Removing Knowledge Related to Forgetting Targets [41.0340052199534]
  大規模言語モデル(LLM)は、大規模なデータセットのトレーニング中に必然的に有害な情報を取得する。 既存のアンラーニング手法は、非ラーニングの有効性に論理的関連知識が与える決定的な影響を克服しつつ、対象データを忘れることに重点を置いている。 本研究では,忘れる対象と高い相関性を持つ知識を除去するUIPE(Unlearning Improvement via Extrapolation)を提案する。
  論文  参考訳（メタデータ） (2025-03-06T18:40:00Z)
• Effective LLM Knowledge Learning via Model Generalization [73.16975077770765]
  大規模言語モデル(LLM)は、広範囲な世界知識を含む膨大なドキュメントに基づいて訓練されている。 自己回帰的な事前学習を通じて知識がどのように獲得されるかは、まだよく理解されていない。 本稿では,LLM知識学習の理解と改善に焦点をあてる。
  論文  参考訳（メタデータ） (2025-03-05T17:56:20Z)
• LEKA:LLM-Enhanced Knowledge Augmentation [24.552995956148145]
  人間は類推学習と知識伝達に優れる。 モデルは受動的に取得し、知識から積極的にアクセスし、学習するようになる。 知識伝達のための知識拡張手法LEKAを開発した。
  論文  参考訳（メタデータ） (2025-01-29T17:44:57Z)
• Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models [36.172093066234794]
  オープンな知識を持つ大規模言語モデルのタスク専門性を向上させるために,人手によるサンプル(Kショット)を少数導入する。 複数の専門家の間で個別のyet-complementaryな知識を最大限に活用するために、Mixix-of-expert (MoE)システムを構築している。
  論文  参考訳（メタデータ） (2024-08-28T16:28:07Z)
• TRELM: Towards Robust and Efficient Pre-training for Knowledge-Enhanced Language Models [31.209774088374374]
  本稿では,知識強化言語モデルのためのロバストかつ効率的な事前学習フレームワークであるTRELMを紹介する。 我々は、知識を3倍に注入するための堅牢なアプローチと、価値ある情報を取得するための知識強化されたメモリバンクを採用しています。 我々は,TRELMが事前学習時間を少なくとも50%削減し,知識探索タスクや複数の知識認識言語理解タスクにおいて,他のKEPLMよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-17T13:04:35Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)
• Thrust: Adaptively Propels Large Language Models with External Knowledge [58.72867916604562]
  大規模事前学習言語モデル(PTLM)は、モデルパラメータの豊富な知識を符号化する。 PTLMの固有の知識は不透明または静的であり、外部の知識を必要とする。 本稿では,外部知識のインスタンスレベル適応推進(IAPEK)を提案する。
  論文  参考訳（メタデータ） (2023-07-19T20:16:46Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• TRAIL: Near-Optimal Imitation Learning with Suboptimal Data [100.83688818427915]
  オフラインデータセットを使用してファクタードトランジションモデルを学習するトレーニング目標を提案する。 我々の理論的分析は、学習された潜在行動空間が下流模倣学習のサンプル効率を高めることを示唆している。 実際に潜伏行動空間を学習するために、エネルギーベースの遷移モデルを学ぶアルゴリズムTRAIL(Transition-Reparametrized Actions for Imitation Learning)を提案する。
  論文  参考訳（メタデータ） (2021-10-27T21:05:00Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。