論文の概要: CORD: Balancing COnsistency and Rank Distillation for Robust Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2412.14581v1
• Date: Thu, 19 Dec 2024 07:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 18:44:16.028644
• Title: CORD: Balancing COnsistency and Rank Distillation for Robust Retrieval-Augmented Generation
• Title（参考訳）: CORD:ロバスト検索強化世代のためのバランスとランク蒸留
• Authors: Youngwon Lee, Seung-won Hwang, Daniel Campos, Filip Graliński, Zhewei Yao, Yuxiong He,
• Abstract要約: 本稿では, 増量蒸留による整合正則化を提案する。 我々は,Consistency と Rank Distillation のバランスをとる CORD を提案する。 実証的な結果は、このバランスにより、CORDは様々なRAGベンチマークにおいて一貫して性能を向上できることを示している。
• 参考スコア（独自算出の注目度）: 47.091086803980765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the adoption of retrieval-augmented generation (RAG), large language models (LLMs) are expected to ground their generation to the retrieved contexts. Yet, this is hindered by position bias of LLMs, failing to evenly attend to all contexts. Previous work has addressed this by synthesizing contexts with perturbed positions of gold segment, creating a position-diversified train set. We extend this intuition to propose consistency regularization with augmentation and distillation. First, we augment each training instance with its position perturbation to encourage consistent predictions, regardless of ordering. We also distill behaviors of this pair, although it can be counterproductive in certain RAG scenarios where the given order from the retriever is crucial for generation quality. We thus propose CORD, balancing COnsistency and Rank Distillation. CORD adaptively samples noise-controlled perturbations from an interpolation space, ensuring both consistency and respect for the rank prior. Empirical results show this balance enables CORD to outperform consistently in diverse RAG benchmarks.
• Abstract（参考訳）: 検索強化世代 (RAG) の導入により, 大規模言語モデル (LLM) は, 検索した文脈にその生成を基礎付けることが期待されている。 しかし、これはLLMの位置バイアスによって妨げられ、全ての文脈に均等に出席することができない。 それまでの作業では、コンテキストを金セグメントのゆがみのある位置で合成し、位置の異なる列車セットを作ることで、この問題に対処してきた。 我々はこの直観を拡張して、増量・蒸留を伴う整合正則化を提案する。 まず、各トレーニングインスタンスをその位置摂動で拡張し、順序によらず一貫した予測を奨励します。 また、このペアの挙動を蒸留するが、レトリバーからの与えられた順序が生成品質に不可欠である特定のRAGシナリオでは非生産的である。 そこで我々は,Consistency と Rank Distillation のバランスをとる CORD を提案する。 CORDは、補間空間からノイズ制御摂動を適応的にサンプリングし、前の階に対する一貫性と敬意を保証する。 実証的な結果は、このバランスにより、CORDは様々なRAGベンチマークにおいて一貫して性能を向上できることを示している。

関連論文リスト

• GRCF: Two-Stage Groupwise Ranking and Calibration Framework for Multimodal Sentiment Analysis [20.77940776708036]
  ペアワイズな順序学習フレームワークは、比較から学ぶことで相対的な順序を捉える。 彼らは全ての比較に均一な重要性を割り当て、ハード・ツー・ランクのサンプルに適応的に焦点をあてることに失敗した。 本稿では,グループ相対的政策最適化の理念を取り入れた二段階群ランク付け・フレームワークを提案する。 GRCFは、コア回帰ベンチマークで最先端のパフォーマンスを達成すると同時に、分類タスクにおいて強力な一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-14T16:26:44Z)
• Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
  VGPOは時間次元とグループ次元の両方で値の推定を再定義する。 スパース端末の報酬を密度の高いプロセス認識値推定に変換する。 標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
  論文  参考訳（メタデータ） (2025-12-13T16:31:26Z)
• Synergizing Deconfounding and Temporal Generalization For Time-series Counterfactual Outcome Estimation [9.353359098871222]
  時系列観測による対実結果の推定は、効果的な意思決定に不可欠である。 サブ処理グループアライメント(SGA)とランダム時間マスキング(RTM)の2つの補完的アプローチを統合する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-20T03:06:19Z)
• Improving Consistency in Retrieval-Augmented Systems with Group Similarity Rewards [14.535325886547112]
  RAGシステムは、ユーザがセマンティックに等価なクエリ間で出力が一貫性があることを期待する、ハイテイクなドメインにますますデプロイされている。 既存のシステムは、レトリバーとジェネレータの両方のばらつきにより、しばしば重大な矛盾を示す。 本稿では,RAGの一貫性をレトリバーレベル,ジェネレータレベル,エンド・ツー・エンドのコンポーネントに分解する基本的評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T23:14:13Z)
• SelfAug: Mitigating Catastrophic Forgetting in Retrieval-Augmented Generation via Distribution Self-Alignment [49.86376148975563]
  大規模言語モデル(LLM)は、様々なタスクを理解し実行する能力を通じて自然言語処理に革命をもたらした。 教師付き微調整、特にRetrieval-Augmented Generation (RAG)のシナリオでは、しばしば破滅的な忘れが生じる。 本稿では,モデルのセマンティック分布を保存するために,入力シーケンスロジットをアライメントする自己分布アライメント手法であるSelfAugを提案する。
  論文  参考訳（メタデータ） (2025-09-04T06:50:47Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Adaptive Regularization of Representation Rank as an Implicit Constraint of Bellman Equation [40.88431931273978]
  表現ランクの適応制御の指針となる原理を見いだす。 我々は,新しい正規化器,すなわち BEER (Bellman Equation-based Automatic rank Regularizer) を提案する。 BEERは適応的に表現ランクを調整し、DRLエージェントの性能を向上させる。
  論文  参考訳（メタデータ） (2024-04-19T10:00:34Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Sequential Recommendation with Controllable Diversification: Representation Degeneration and Diversity [59.24517649169952]
  我々は,表現退化問題は,既存のSR手法における推奨の多様性の欠如の根本原因であると主張している。 Singular sPectrum sMoothing regularization for Recommendation (SPMRec)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T02:42:37Z)
• Task-Balanced Distillation for Object Detection [18.939830805129787]
  ResNet-50のRetinaNetは41.0 mAPをベンチマークで達成し、最近のFGDとCOCOを上回っている。 分類タスクと回帰タスクのコントリビューションを柔軟にバランスさせることにより、新しいタスク分離型特徴蒸留(TFD)を提案する。
  論文  参考訳（メタデータ） (2022-08-05T06:43:40Z)
• Inducing and Using Alignments for Transition-based AMR Parsing [51.35194383275297]
  複雑なパイプラインに依存することなくノード間アライメントを学習するAMRのためのニューラルアライメント器を提案する。 我々は,AMR3.0のビームサーチを必要とせず,銀のトレーニングされた性能に適合する,金のみのトレーニングモデルのための新しい最先端技術を得た。
  論文  参考訳（メタデータ） (2022-05-03T12:58:36Z)
• Reconcile Prediction Consistency for Balanced Object Detection [10.61438063305309]
  分類枝と局所化枝の最適化を調和させるハーモニック損失を提案する。 ハーモニック・ロスにより、これらの2つのブランチはトレーニング中にお互いを監督し、促進することができる。 トレーニング段階において, ローカライゼーション損失が外れ値に支配されるのを防止するため, 異なるIoUレベルの試料の局所化損失の重みを調和させるために, ハーモニックIoU損失を提案する。
  論文  参考訳（メタデータ） (2021-08-24T15:52:11Z)
• Parallelized Reverse Curriculum Generation [62.25453821794469]
  強化学習では, エージェントが, まばらな報酬のために, 特定の一連の行動を必要とするタスクをマスターすることが困難である。 逆カリキュラム生成(RCG)は、エージェントが学習するカリキュラムを自動的に生成する逆拡張アプローチを提供する。 本稿では,複数のACペアを同時に訓練し,定期的に批判を交換する並列化手法を提案する。
  論文  参考訳（メタデータ） (2021-08-04T15:58:35Z)
• PCPL: Predicate-Correlation Perception Learning for Unbiased Scene Graph Generation [58.98802062945709]
  本稿では,適切な損失重みを適応的に求めるための新しい述語相関知覚学習手法を提案する。 我々のPCPLフレームワークは、文脈特徴をよりよく抽出するグラフエンコーダモジュールも備えています。
  論文  参考訳（メタデータ） (2020-09-02T08:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。