論文の概要: CORD: Balancing COnsistency and Rank Distillation for Robust Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2412.14581v1
• Date: Thu, 19 Dec 2024 07:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:32:08.191798
• Title: CORD: Balancing COnsistency and Rank Distillation for Robust Retrieval-Augmented Generation
• Title（参考訳）: CORD:ロバスト検索強化世代のためのバランスとランク蒸留
• Authors: Youngwon Lee, Seung-won Hwang, Daniel Campos, Filip Graliński, Zhewei Yao, Yuxiong He,
• Abstract要約: 本稿では, 増量蒸留による整合正則化を提案する。 我々は,Consistency と Rank Distillation のバランスをとる CORD を提案する。 実証的な結果は、このバランスにより、CORDは様々なRAGベンチマークにおいて一貫して性能を向上できることを示している。
• 参考スコア（独自算出の注目度）: 47.091086803980765
• License:
• Abstract: With the adoption of retrieval-augmented generation (RAG), large language models (LLMs) are expected to ground their generation to the retrieved contexts. Yet, this is hindered by position bias of LLMs, failing to evenly attend to all contexts. Previous work has addressed this by synthesizing contexts with perturbed positions of gold segment, creating a position-diversified train set. We extend this intuition to propose consistency regularization with augmentation and distillation. First, we augment each training instance with its position perturbation to encourage consistent predictions, regardless of ordering. We also distill behaviors of this pair, although it can be counterproductive in certain RAG scenarios where the given order from the retriever is crucial for generation quality. We thus propose CORD, balancing COnsistency and Rank Distillation. CORD adaptively samples noise-controlled perturbations from an interpolation space, ensuring both consistency and respect for the rank prior. Empirical results show this balance enables CORD to outperform consistently in diverse RAG benchmarks.
• Abstract（参考訳）: 検索強化世代 (RAG) の導入により, 大規模言語モデル (LLM) は, 検索した文脈にその生成を基礎付けることが期待されている。 しかし、これはLLMの位置バイアスによって妨げられ、全ての文脈に均等に出席することができない。 それまでの作業では、コンテキストを金セグメントのゆがみのある位置で合成し、位置の異なる列車セットを作ることで、この問題に対処してきた。 我々はこの直観を拡張して、増量・蒸留を伴う整合正則化を提案する。 まず、各トレーニングインスタンスをその位置摂動で拡張し、順序によらず一貫した予測を奨励します。 また、このペアの挙動を蒸留するが、レトリバーからの与えられた順序が生成品質に不可欠である特定のRAGシナリオでは非生産的である。 そこで我々は,Consistency と Rank Distillation のバランスをとる CORD を提案する。 CORDは、補間空間からノイズ制御摂動を適応的にサンプリングし、前の階に対する一貫性と敬意を保証する。 実証的な結果は、このバランスにより、CORDは様々なRAGベンチマークにおいて一貫して性能を向上できることを示している。

関連論文リスト

• Adaptive Regularization of Representation Rank as an Implicit Constraint of Bellman Equation [40.88431931273978]
  表現ランクの適応制御の指針となる原理を見いだす。 我々は,新しい正規化器,すなわち BEER (Bellman Equation-based Automatic rank Regularizer) を提案する。 BEERは適応的に表現ランクを調整し、DRLエージェントの性能を向上させる。
  論文  参考訳（メタデータ） (2024-04-19T10:00:34Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Task-Balanced Distillation for Object Detection [18.939830805129787]
  ResNet-50のRetinaNetは41.0 mAPをベンチマークで達成し、最近のFGDとCOCOを上回っている。 分類タスクと回帰タスクのコントリビューションを柔軟にバランスさせることにより、新しいタスク分離型特徴蒸留(TFD)を提案する。
  論文  参考訳（メタデータ） (2022-08-05T06:43:40Z)
• Inducing and Using Alignments for Transition-based AMR Parsing [51.35194383275297]
  複雑なパイプラインに依存することなくノード間アライメントを学習するAMRのためのニューラルアライメント器を提案する。 我々は,AMR3.0のビームサーチを必要とせず,銀のトレーニングされた性能に適合する,金のみのトレーニングモデルのための新しい最先端技術を得た。
  論文  参考訳（メタデータ） (2022-05-03T12:58:36Z)
• Reconcile Prediction Consistency for Balanced Object Detection [10.61438063305309]
  分類枝と局所化枝の最適化を調和させるハーモニック損失を提案する。 ハーモニック・ロスにより、これらの2つのブランチはトレーニング中にお互いを監督し、促進することができる。 トレーニング段階において, ローカライゼーション損失が外れ値に支配されるのを防止するため, 異なるIoUレベルの試料の局所化損失の重みを調和させるために, ハーモニックIoU損失を提案する。
  論文  参考訳（メタデータ） (2021-08-24T15:52:11Z)
• Parallelized Reverse Curriculum Generation [62.25453821794469]
  強化学習では, エージェントが, まばらな報酬のために, 特定の一連の行動を必要とするタスクをマスターすることが困難である。 逆カリキュラム生成(RCG)は、エージェントが学習するカリキュラムを自動的に生成する逆拡張アプローチを提供する。 本稿では,複数のACペアを同時に訓練し,定期的に批判を交換する並列化手法を提案する。
  論文  参考訳（メタデータ） (2021-08-04T15:58:35Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• PCPL: Predicate-Correlation Perception Learning for Unbiased Scene Graph Generation [58.98802062945709]
  本稿では,適切な損失重みを適応的に求めるための新しい述語相関知覚学習手法を提案する。 我々のPCPLフレームワークは、文脈特徴をよりよく抽出するグラフエンコーダモジュールも備えています。
  論文  参考訳（メタデータ） (2020-09-02T08:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。