論文の概要: InSQuAD: In-Context Learning for Efficient Retrieval via Submodular Mutual Information to Enforce Quality and Diversity

• arxiv url: http://arxiv.org/abs/2508.21003v1
• Date: Thu, 28 Aug 2025 17:04:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.525144
• Title: InSQuAD: In-Context Learning for Efficient Retrieval via Submodular Mutual Information to Enforce Quality and Diversity
• Title（参考訳）: InSQuAD:品質と多様性を高めるためのサブモジュール相互情報による効率的な検索のためのインコンテキスト学習
• Authors: Souradeep Nanda, Anay Majee, Rishabh Iyer,
• Abstract要約: In-Context Learning(ICL)モデルの性能を向上させるために設計されたInSQuADを紹介する。 我々は、ICLタスクをターゲット選択問題としてモデル化し、サブモジュール相互情報(SMI)に基づく統一選択戦略を導入する。 InSQuADは、新しい可能性に基づく損失を通じて、検索モデルの品質と多様性の両方を強制するSMI関数のパラメータを学習する訓練パラダイムを導入する。
• 参考スコア（独自算出の注目度）: 3.838191198142784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce InSQuAD, designed to enhance the performance of In-Context Learning (ICL) models through Submodular Mutual Information} (SMI) enforcing Quality and Diversity among in-context exemplars. InSQuAD achieves this through two principal strategies: First, we model the ICL task as a targeted selection problem and introduce a unified selection strategy based on SMIs which mines relevant yet diverse in-context examples encapsulating the notions of quality and diversity. Secondly, we address a common pitfall in existing retrieval models which model query relevance, often overlooking diversity, critical for ICL. InSQuAD introduces a combinatorial training paradigm which learns the parameters of an SMI function to enforce both quality and diversity in the retrieval model through a novel likelihood-based loss. To further aid the learning process we augment an existing multi-hop question answering dataset with synthetically generated paraphrases. Adopting the retrieval model trained using this strategy alongside the novel targeted selection formulation for ICL on nine benchmark datasets shows significant improvements validating the efficacy of our approach.
• Abstract（参考訳）: 本稿では,In-Context Learning(ICL)モデルの性能向上を目的としたInSQuADを提案する。 InSQuADは2つの主要な戦略によってこれを達成している: まず、ICLタスクをターゲット選択問題としてモデル化し、品質と多様性の概念を包含した、関連性はあるが多様なインコンテキストの例を掘り下げるSMIに基づく統一選択戦略を導入する。 第二に、既存の検索モデルにおける共通の落とし穴に対処し、クエリ関連性をモデル化し、しばしば多様性を見落とし、ICLにとって重要な問題である。 InSQuADは、新しい可能性に基づく損失を通じて、検索モデルの品質と多様性の両方を強制するために、SMI関数のパラメータを学習する組合せ訓練パラダイムを導入する。 学習プロセスをさらに支援するために、既存のマルチホップ質問応答データセットを合成されたパラフレーズで強化する。 9つのベンチマークデータセット上で、ICLの新たなターゲット選択定式化とともに、この戦略を用いて訓練された検索モデルを採用すると、我々のアプローチの有効性を検証する上で大きな改善が示される。

関連論文リスト

• Multi-Level Aware Preference Learning: Enhancing RLHF for Complex Multi-Instruction Tasks [81.44256822500257]
  RLHFは、人工知能システムと人間の好みを結びつける主要なアプローチとして登場した。 RLHFは、複雑なマルチインストラクションタスクに直面すると、不十分なコンプライアンス機能を示す。 本稿では,マルチインストラクション能力を向上させる新しいMAPL(Multi-level Aware Preference Learning)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-19T08:33:11Z)
• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• STAYKATE: Hybrid In-Context Example Selection Combining Representativeness Sampling and Retrieval-based Approach -- A Case Study on Science Domains [0.8296121350988481]
  大規模言語モデル(LLM)は、科学的な情報抽出のための潜在的なソリューションを提供する、文脈内で学習する能力を示す。 STAYKATE(StaYKATE)は,アクティブラーニングからの代表性サンプリングの原理と,一般的な検索に基づくアプローチを組み合わせた静的・動的ハイブリッド選択法である。 3つのドメイン固有のデータセットにまたがる結果は、STAYKATEが従来の教師付き手法と既存の選択方法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2024-12-28T06:13:50Z)
• Demonstration Selection for In-Context Learning via Reinforcement Learning [16.103533806505403]
  Relevance-Diversity Enhanced Selection (RDES)は、多様な参照デモの選択を最適化するための革新的なアプローチである。 RDESはQ-learningのようなフレームワークとPPOベースの変種を使用して、多様性を最大化するデモを動的に識別する。 RDESは10基のベースラインに比べて性能を著しく向上することを示した。
  論文  参考訳（メタデータ） (2024-12-05T08:33:52Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large Language Models [56.256069117502385]
  Chain of Thought (CoT)アプローチは、複雑な推論タスクにおいて、LLM(Large Language Models)の能力を高めるために使用できる。 しかし、マルチモーダル推論における最適なCoT実例の選択は、まだ検討されていない。 本稿では,この課題に対処する新しい手法として,検索機構を用いて実演例を自動的に選択する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T08:07:21Z)
• SEER : A Knapsack approach to Exemplar Selection for In-Context HybridQA [1.0323063834827413]
  本稿では,ハイブリッド推論(SEER)のためのサンプルの選択について述べる。 SEERの有効性はFinQAとTAT-QAで実証されている。
  論文  参考訳（メタデータ） (2023-10-10T14:50:20Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。