論文の概要: Parenting: Optimizing Knowledge Selection of Retrieval-Augmented Language Models with Parameter Decoupling and Tailored Tuning

• arxiv url: http://arxiv.org/abs/2410.10360v2
• Date: Sun, 20 Oct 2024 07:53:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 22:04:40.551580
• Title: Parenting: Optimizing Knowledge Selection of Retrieval-Augmented Language Models with Parameter Decoupling and Tailored Tuning
• Title（参考訳）: ペアリング:パラメータデカップリングとテーラータニングによる検索言語モデルの知識選択の最適化
• Authors: Yongxin Xu, Ruizhe Zhang, Xinke Jiang, Yujie Feng, Yuzhen Xiao, Xinyu Ma, Runchuan Zhu, Xu Chu, Junfeng Zhao, Yasha Wang,
• Abstract要約: Retrieval-Augmented Generation (RAG) は、幻覚生成と知識の陳腐化において、Large Language Models (LLM) が直面する問題に対する効果的な解決策を提供する。 本稿では, 親和性と頑健性に関連するパラメータ部分空間を分離し, 識別し, 目的的に最適化する新しいフレームワークであるParentingを提案する。
• 参考スコア（独自算出の注目度）: 14.403812623299027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) offers an effective solution to the issues faced by Large Language Models (LLMs) in hallucination generation and knowledge obsolescence by incorporating externally retrieved knowledge. However, existing methods lack effective control mechanisms for integrating internal and external knowledge. Inspired by human cognitive processes, we propose Parenting, a novel framework that decouples, identifies, and purposefully optimizes parameter subspaces related to adherence and robustness. Specifically, Parenting utilizes a key parameter mining method that combines forward and backward propagation signals to localize subspaces representing different capabilities. Then, Parenting employs a type-tailored tuning strategy, applying specific and appropriate optimizations to different subspaces, aiming to achieve a balanced enhancement of both adherence and robustness. Extensive experiments on various datasets and models validate the effectiveness and generalizability of our method.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、幻覚生成や知識の陳腐化において、Large Language Models (LLM) が直面する問題に対する効果的な解決策を提供する。 しかし、既存の手法では、内部知識と外部知識を統合するための効果的な制御機構が欠如している。 人間の認知プロセスにインスパイアされたParentingは,親密性と堅牢性に関連するパラメータ部分空間を分離し,識別し,目的的に最適化する新しいフレームワークである。 特に、Parentingでは、前方と後方の伝搬信号を組み合わせて異なる機能を表す部分空間をローカライズするキーパラメータマイニング手法を採用している。 次に、Parentingでは、異なるサブスペースに特定の適切な最適化を適用し、アテンデンスとロバスト性の両方のバランスよく向上することを目的として、タイプ調整型チューニング戦略を採用している。 各種データセットおよびモデルに対する広範囲な実験により,本手法の有効性と一般化性について検証した。

関連論文リスト

• Learning Neural Strategy-Proof Matching Mechanism from Examples [24.15688619889342]
  我々は,人為的なデータセットから戦略防御機構を学習するニューラルネットワークであるNeuralSDを開発した。 エージェント数の違いによるマッチング例から,ストラテジブルマッチングを学習するための実験を行った。
  論文  参考訳（メタデータ） (2024-10-25T08:34:25Z)
• Causal Representation Learning with Generative Artificial Intelligence: Application to Texts as Treatments [0.0]
  テキストなどの非構造的高次元処理による因果推論の有効性を高める方法について述べる。 本稿では,大規模言語モデル(LLM)のような深層生成モデルを用いて治療を効率的に生成することを提案する。 この真の内部表現の知識は、関心事の処理特徴を乱すのに役立ちます。
  論文  参考訳（メタデータ） (2024-10-01T17:46:21Z)
• KnowPO: Knowledge-aware Preference Optimization for Controllable Knowledge Selection in Retrieval-Augmented Language Models [14.057527352653787]
  本稿では,適応的な知識選択を実現することを目的とした,知識認識型参照最適化戦略であるKnowPOを提案する。 KnowPOは,従来の知識衝突処理手法を37%以上上回る性能を示した。
  論文  参考訳（メタデータ） (2024-08-06T16:55:54Z)
• Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
  パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。 感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。 本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-17T17:58:34Z)
• Feature Interaction Aware Automated Data Representation Transformation [27.26916497306978]
  我々は,マルコフ決定過程をカスケードした階層的強化学習構造を開発し,特徴選択と操作選択を自動化する。 我々は、選択された特徴間の相互作用強度に基づいてエージェントに報酬を与える。その結果、人間の意思決定をエミュレートする特徴空間をインテリジェントかつ効率的に探索する。
  論文  参考訳（メタデータ） (2023-09-29T06:48:16Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Revisiting GANs by Best-Response Constraint: Perspective, Methodology, and Application [49.66088514485446]
  ベストレスポンス制約(Best-Response Constraint、BRC)は、ジェネレータのディスクリミネータへの依存性を明示的に定式化する一般的な学習フレームワークである。 モチベーションや定式化の相違があっても, フレキシブルBRC法により, 様々なGANが一様に改善できることが示される。
  論文  参考訳（メタデータ） (2022-05-20T12:42:41Z)
• Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
  決定アルゴリズムは様々なアプリケーションで使われている。 数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。 モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
  論文  参考訳（メタデータ） (2022-05-05T13:40:08Z)
• Mixed-Integer Optimization with Constraint Learning [4.462264781248437]
  我々は、学習制約を伴う混合整数最適化のための幅広い方法論基盤を確立する。 我々は多くの機械学習手法の混合整数最適化・表現性を利用する。 本手法は,World Food Programme計画と化学療法最適化の両方で実証する。
  論文  参考訳（メタデータ） (2021-11-04T20:19:55Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。