論文の概要: Studying the Role of Input-Neighbor Overlap in Retrieval-Augmented Language Models Training Efficiency

• arxiv url: http://arxiv.org/abs/2505.14309v1
• Date: Tue, 20 May 2025 12:58:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.186412
• Title: Studying the Role of Input-Neighbor Overlap in Retrieval-Augmented Language Models Training Efficiency
• Title（参考訳）: 検索言語モデルの学習効率向上における入力-隣語オーバーラップの役割に関する研究
• Authors: Ehsan Doostmohammadi, Marco Kuhlmann,
• Abstract要約: 本研究では,クエリとコンテキストの重なり合いが,トレーニングと推論の両方のモデル性能に与える影響について検討する。 実験の結果,オーバーラップの増加は最初は最小限の効果を持つが,テスト時間のパープレキシティが大幅に向上し,モデルが臨界しきい値を超える学習を加速することがわかった。
• 参考スコア（独自算出の注目度）: 3.5634988336513587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented language models have demonstrated performance comparable to much larger models while requiring fewer computational resources. The effectiveness of these models crucially depends on the overlap between query and retrieved context, but the optimal degree of this overlap remains unexplored. In this paper, we systematically investigate how varying levels of query--context overlap affect model performance during both training and inference. Our experiments reveal that increased overlap initially has minimal effect, but substantially improves test-time perplexity and accelerates model learning above a critical threshold. Building on these findings, we demonstrate that deliberately increasing overlap through synthetic context can enhance data efficiency and reduce training time by approximately 40\% without compromising performance. We specifically generate synthetic context through paraphrasing queries. We validate our perplexity-based findings on question-answering tasks, confirming that the benefits of retrieval-augmented language modeling extend to practical applications. Our results provide empirical evidence of significant optimization potential for retrieval mechanisms in language model pretraining.
• Abstract（参考訳）: Retrieval-augmented Language Modelは、より大規模なモデルに匹敵する性能を示したが、計算資源は少なかった。 これらのモデルの有効性は、クエリと検索されたコンテキストの重複に大きく依存するが、この重複の最適度はまだ明らかにされていない。 本稿では,各種問合せレベルの変化が,学習と推論の双方におけるモデル性能に与える影響を系統的に検討する。 実験の結果,オーバーラップの増加は最初は最小限の効果を持つが,テスト時間のパープレキシティが大幅に向上し,重要なしきい値を超えるモデル学習が促進されることがわかった。 これらの結果に基づいて, 合成コンテキストによる重複増加がデータ効率を向上し, 学習時間を約40%短縮できることを示した。 クエリーをパラフレーズ化することで、合成コンテキストを具体的に生成する。 質問応答タスクにおける難易度に基づく解析結果を検証し、検索強化言語モデリングの利点が実用的応用にまで及んでいることを確認する。 本研究は,言語モデル事前学習における検索機構の有意な最適化可能性を示す実証的な証拠を提供する。

関連論文リスト

• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  モデルサイズ,トレーニングデータスケール,推論時間計算が生成的検索性能にどのように影響するかを検討する。 実験の結果,n-gram-based method はトレーニング法と推論法の両方と強く一致していることがわかった。 LLaMAモデルはT5モデルより一貫して優れており、生成検索におけるデコーダのみの大きなモデルに対して特に有利であることが示唆された。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Pointwise Mutual Information as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  文脈と問合せの間のポイントワイドな相互情報は,言語モデルの性能向上に有効な指標であることを示す。 本稿では,文書と質問のポイントワイドな相互情報を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Optimal Query Allocation in Extractive QA with LLMs: A Learning-to-Defer Framework with Theoretical Guarantees [3.4289478404209826]
  大規模言語モデルは生成タスクでは優れているが、構造化されたテキスト選択では非効率である。 本稿では,専門的な専門家にクエリを割り当て,信頼性の高い予測を確実にする学習者向けフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-21T08:21:00Z)
• Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
  本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。 提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-04T12:43:23Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。