論文の概要: RIMS: Preference Optimization via Smoothed Multi-pair Aggregation for Small-Scale LLM Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2607.16431v1
• Date: Fri, 17 Jul 2026 18:24:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.149492
• Title: RIMS: Preference Optimization via Smoothed Multi-pair Aggregation for Small-Scale LLM Retrieval-Augmented Generation
• Title（参考訳）: RIMS:小型LLM検索生成のためのスムーズなマルチペアアグリゲーションによる優先最適化
• Abstract要約: 小型言語モデル(SLM)は、資源制約のある環境での検索強化世代(RAG)にとって魅力的である。 本稿では,3段階の選好最適化フレームワークRIMSを提案する。 提案手法は,複数のSLMバックボーンにまたがる最先端のベースラインよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 19.76481955873559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small-scale language models (SLMs) are attractive for retrieval-augmented generation (RAG) in resource-constrained settings, but their limited capacity makes them highly sensitive to noisy or spurious retrieved evidence. Existing preference-based methods such as RoseRAG select only the hardest single preference pair via hard argmin/argmax, discarding the remaining signal; others treat multiple pairs as independent binary comparisons, resulting in low data utilization. We propose RIMS, a three-stage preference optimization framework comprising (1) synthetic chain-of-thought preference data generation via rejection sampling using the target SLM itself without relying on proprietary models, (2) a differentiable soft aggregation mechanism that replaces hard selection with a smooth operator, preserving gradient signal from all preference pairs while retaining the discriminative structure of margin-aware selection, and (3) preference optimization with the smoothed objective applied to multiple alignment algorithms. We theoretically show that the smoothed approximation admits a controllable error bound and that smooth aggregation yields provably tighter gradient alignment to the oracle objective than hard selection. Experiments on four multi-hop question answering benchmarks show that our approach outperforms state-of-the-art baselines across multiple SLM backbones, achieving consistent gains in Exact Match and F1 under noisy retrieval conditions. Our implementation is available at https://github.com/tptrix29/RIMS.
• Abstract（参考訳）: 小型言語モデル (SLM) は資源制約のある環境での検索増強世代 (RAG) にとって魅力的であるが、その限界能力はノイズや急激な証拠に非常に敏感である。 RoseRAGのような既存の選好ベースの手法では、ハードアルグミン/argmaxを介して最も難しい選好ペアのみを選択し、残りの信号を破棄する。 本研究では,(1)プロプライエタリなモデルに頼らずに,目的のSLM自体を用いた拒絶サンプリングによる合成連鎖選好データ生成,(2)スムーズな演算子によるハードセレクションを置き換える識別可能なソフトアグリゲーション機構,(2)マージン・アウェア選択の識別構造を維持しつつ,すべての選好対からの勾配信号を保存する,(3)複数のアライメントアルゴリズムに適用された滑らかな目的による選好最適化を含む3段階の選好最適化フレームワークであるRIMSを提案する。 理論的には、スムーズな近似は制御可能な誤差境界を認め、スムーズなアグリゲーションはハードセレクションよりもオラクル目標との配向が良好に密接であることを示す。 4つのマルチホップ質問応答ベンチマーク実験により,提案手法は複数のSLMバックボーンにまたがる最先端のベースラインよりも優れており,ノイズの多い検索条件下ではExact MatchとF1で一貫した利得が得られることが示された。 私たちの実装はhttps://github.com/tptrix29/RIMSで公開されています。

関連論文リスト

• Data Efficient Sample Selection for In-Context Learning [7.910984819642885]
  インコンテキスト学習(ICL)は、大規模言語モデル(LLM)が微調整を必要とせずに新しいタスクに適応できるようにする。 既存の選択手法は、ICLサンプルと下流LLM性能の複雑な関係をモデル化していない。 本稿では,サンプル選択をサブセットランキング問題としてモデル化する新しいフレームワークであるDearICLを紹介する。
  論文  参考訳（メタデータ） (2026-09-06T15:23:37Z)
• Neighbor-aware Instance Refining with Noisy Labels for Cross-Modal Retrieval [12.062625455647265]
  CMR(Cross-Modal Retrieval)はマルチモーダル解析の分野で大きな進歩を遂げている。 CMR法は、モデル性能天井、校正信頼性、データ利用率を同時に満たさないことが多い。 我々は,Nighbor-aware Instance Refining with Noisy Labels (NIRNL) という,より堅牢なクロスモーダル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-30T08:19:07Z)
• Reverse Preference Optimization for Complex Instruction Following [61.39734201711077]
  本稿では,Reverse Preference Optimization (RPO) という,シンプルで効果的な手法を提案する。 選択された応答が完璧であることを保証するために、命令内の制約を動的に反転させることで、優先ペアのノイズを緩和する。 RPOはモデルサイズで効果的にスケールし、70B RPOモデルはGPT-4oを超える。
  論文  参考訳（メタデータ） (2025-05-28T09:44:27Z)
• ComPO: Preference Alignment via Comparison Oracles [26.629761802730258]
  提案手法は,ゼロ階数に基づく新しい選好アライメント手法であり,比較オーラクルによる比較に基づく最適化である。 雑音の多い選好ペアを用いたLCMの性能向上のための実用的スキームの柔軟性と互換性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-05-08T17:56:57Z)
• AMPO: Active Multi-Preference Optimization for Self-play Preference Selection [16.230186347702737]
  マルチパラメータ最適化は、有用な応答と望ましくない応答の集合全体を対比することにより、ペアの好みを超えた言語モデルアライメントを強化する。 そこで本稿では,オンライン・プライス・ジェネレーション,マルチ・コントラスト・グループ・コントラスト・ロス,アクティブ・サブセット選択を組み合わせた新しいアプローチである,$textitActive Multi-Preference Optimization$ (AMPO)を提案する。 AMPO は Llama 8B と Mistral Mist 7B を使って $textitAlpacaEval$ で最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-02-25T15:29:51Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• Geometric-Averaged Preference Optimization for Soft Preference Labels [78.2746007085333]
  LLMを人間の嗜好と整合させる多くのアルゴリズムは、人間の嗜好は二進的かつ決定論的であると仮定する。 本研究では,分散ソフトな選好ラベルを導入し,損失関数におけるLLM出力確率の重み付き幾何平均を用いて直接選好最適化(DPO)を改善する。
  論文  参考訳（メタデータ） (2024-09-10T17:54:28Z)
• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• ANIMC: A Soft Framework for Auto-weighted Noisy and Incomplete Multi-view Clustering [59.77141155608009]
  本稿では, ソフトな自己重み付き戦略と2倍のソフトな正規回帰モデルを用いて, 自動重み付きノイズと不完全なマルチビュークラスタリングフレームワーク(ANIMC)を提案する。 ANIMCには3つの独特な利点がある: 1) 異なるシナリオでフレームワークを調整し、その一般化能力を向上させるソフトアルゴリズム、2) 各ビューに対する適切な重み付けを自動的に学習し、ノイズの影響を低減し、3) 異なるビューで同じインスタンスを整列させ、欠落したインスタンスの影響を減少させる。
  論文  参考訳（メタデータ） (2020-11-20T10:37:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。