論文の概要: KaFT: Knowledge-aware Fine-tuning for Boosting LLMs' Domain-specific Question-Answering Performance

• arxiv url: http://arxiv.org/abs/2505.15480v1
• Date: Wed, 21 May 2025 12:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.649827
• Title: KaFT: Knowledge-aware Fine-tuning for Boosting LLMs' Domain-specific Question-Answering Performance
• Title（参考訳）: KaFT:LLMのドメイン固有の質問応答性能向上のための知識認識ファインタニング
• Authors: Qihuang Zhong, Liang Ding, Xiantao Cai, Juhua Liu, Bo Du, Dacheng Tao,
• Abstract要約: Supervised Fine-tuning (SFT)は、大規模言語モデル(LLM)のドメイン固有質問応答(QA)性能を改善するための一般的なアプローチである。
• 参考スコア（独自算出の注目度）: 83.99974309930072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised fine-tuning (SFT) is a common approach to improve the domain-specific question-answering (QA) performance of large language models (LLMs). However, recent literature reveals that due to the conflicts between LLMs' internal knowledge and the context knowledge of training data, vanilla SFT using the full QA training set is usually suboptimal. In this paper, we first design a query diversification strategy for robust conflict detection and then conduct a series of experiments to analyze the impact of knowledge conflict. We find that 1) training samples with varied conflicts contribute differently, where SFT on the data with large conflicts leads to catastrophic performance drops; 2) compared to directly filtering out the conflict data, appropriately applying the conflict data would be more beneficial. Motivated by this, we propose a simple-yet-effective Knowledge-aware Fine-tuning (namely KaFT) approach to effectively boost LLMs' performance. The core of KaFT is to adapt the training weight by assigning different rewards for different training samples according to conflict level. Extensive experiments show that KaFT brings consistent and significant improvements across four LLMs. More analyses prove that KaFT effectively improves the model generalization and alleviates the hallucination.
• Abstract（参考訳）: Supervised Fine-tuning (SFT) は、大規模言語モデル(LLM)のドメイン固有質問応答(QA)性能を改善するための一般的なアプローチである。 しかし、近年の文献では、LLMの内部知識とトレーニングデータの文脈知識の相違により、完全なQAトレーニングセットを使用したバニラSFTは通常、最適以下であることが示されている。 本稿では,まず,ロバストコンフリクト検出のためのクエリ多様化戦略を設計し,その上で,知識コンフリクトの影響を分析する一連の実験を行う。 私たちはそれを見つける。 1) 種々の競合を伴うトレーニングサンプルは、大きな衝突を伴うデータに対するSFTが破滅的なパフォーマンス低下を引き起こす場合、異なる形で寄与する。 2) コンフリクトデータを直接フィルタリングするよりも、適切にコンフリクトデータを適用する方が有益である。 そこで本研究では,LLMの性能を効果的に向上する,シンプルでyet- effective Knowledge-aware Fine-tuning(KaFT)アプローチを提案する。 KaFTのコアは、コンフリクトレベルに応じて異なるトレーニングサンプルに対して異なる報酬を割り当てることで、トレーニング重量を調整することである。 大規模な実験により、KaFTは4つのLLMに一貫性と大幅な改善をもたらすことが示された。 さらなる分析により、KaFTはモデル一般化を効果的に改善し、幻覚を緩和することが示された。

関連論文リスト

• SegSub: Evaluating Robustness to Knowledge Conflicts and Hallucinations in Vision-Language Models [6.52323086990482]
  視覚言語モデル(VLM)は、高度なマルチモーダル推論を実証するが、知識の衝突に直面した場合には幻覚を起こす傾向がある。 本研究は,VLMレジリエンスを知識衝突に対して調査するために,目標画像摂動を適用するフレームワークであるsegsubを紹介する。
  論文  参考訳（メタデータ） (2025-02-19T00:26:38Z)
• Utilize the Flow before Stepping into the Same River Twice: Certainty Represented Knowledge Flow for Refusal-Aware Instruction Tuning [68.57166425493283]
  Refusal-Aware Instruction Tuning (RAIT) により、Large Language Models (LLM) は未知の質問に答えることを拒否できる。 この粗末なアプローチは、LLMが正しく答えられる可能性のある質問に答えることを過剰に拒否する可能性がある。 本稿では,CRaFT(Certainty Represented Knowledge Flow for Refusal-Aware Instructions Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-10-09T14:12:51Z)
• ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
  大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。 本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T07:41:17Z)
• Teaching Large Language Models to Reason with Reinforcement Learning [38.17625148525193]
  人間のフィードバックからの強化学習(textbfRLHF)は、LLM出力と人間の嗜好を整合させる主要なアプローチとして現れている。 RLHFの成功に触発され,フィードバックから学習する複数のアルゴリズムの性能について検討した。
  論文  参考訳（メタデータ） (2024-03-07T16:36:29Z)
• On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
  In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。 しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
  フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。 本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。 この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-09-16T11:30:29Z)
• A method of supervised learning from conflicting data with hidden contexts [6.459225559630302]
  我々は、複数の観測不能領域からトレーニングデータを抽出する、より一般的な教師付き学習問題を定式化する。 このデータに固有の矛盾は、標準的な経験的リスク最小化トレーニングを非効率にする。 本稿では、異なる予測モデルに競合するデータを割り当てることを学ぶアロケーション関数を導入する手法LEAFを提案する。
  論文  参考訳（メタデータ） (2021-08-27T04:18:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。