論文の概要: Retrieval-Based In-Context Learning: A Domain Adaptation Framework
- arxiv url: http://arxiv.org/abs/2610.05717v1
- Date: Mon, 05 Oct 2026 02:59:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 04:55:20.591343
- Title: Retrieval-Based In-Context Learning: A Domain Adaptation Framework
- Title(参考訳): ドメイン適応フレームワークRetrieval-based In-Context Learning
- Abstract要約: In-context Search (ICR) は、In-context Learning (ICL) の検索形式である。
我々は、ICRをドメイン適応問題の一種として定式化し、データベースのソース分布$P$は、テストクエリラベルペアのターゲット分布$Q$と異なるかもしれない。
- 参考スコア(独自算出の注目度): 23.926044655131687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In-context retrieval (ICR) is a retrieval-based form of in-context learning (ICL) in which demonstrations are retrieved from a source database based on similarity to the query, rather than sampled independently. In this work, we formulate ICR as a type of domain adaptation problem, where the source distribution $P$ of the database may differ from the target distribution $Q$ of the test query-label pair. We investigate the performance of ICR under a flexible class of distributional shifts that substantially extends prior work \citep{li2024fine,guo2025retrieval}, and establish theoretical guarantees that quantify the benefits and pitfalls of this learning paradigm. Our theory is verified by experiments on synthetic and language tasks.
- Abstract(参考訳): In-context Search (ICR) は、インコンテキスト学習(ICL)の検索形式であり、独立したサンプルではなく、クエリと類似性に基づいて、ソースデータベースからデモを検索する。
本研究では、ICRをドメイン適応問題の一種として定式化し、データベースのソース分布$P$は、テストクエリラベルペアのターゲット分布$Q$と異なるかもしれない。
本研究は、従来の作業である「citep{li2024fine,guo2025retrieval}」を実質的に拡張した分散シフトの柔軟なクラス下でのICCの性能について検討し、この学習パラダイムの利点と落とし穴を定量化する理論的保証を確立する。
我々の理論は、合成タスクと言語タスクの実験によって検証されている。
関連論文リスト
- Generate, Filter, Control, Replay: A Comprehensive Survey of Rollout Strategies for LLM Reinforcement Learning [79.88942231770629]
強化学習(RL)は、大規模言語モデル(LLM)の推論能力を向上させるための訓練後の中心的なツールとなっている。
統一表記によるロールアウトパイプラインの形式化とGenerate-Filter-Control-Replay(GFCR)の導入
検証可能な報酬、プロセスの監督、判断に基づくゲーティング、ガイドとツリー/セグメントのロールアウト、アダプティブな計算割り当て、早期終了と部分的なロールアウト、スループット最適化、自己改善のための再生/再配置でRLにまたがる手法を合成する。
論文 参考訳(メタデータ) (2026-04-08T00:53:29Z) - Entropic Context Shaping: Information-Theoretic Filtering for Context-Aware LLM Agents [12.969042037563971]
本稿では,コンテキストユーティリティを測定する情報理論フレームワークであるEntropic Context Shaping (ECS)を紹介する。
ECSは実用的なユーティリティーをキャプチャします。
我々はLongMemEvalとLoCoMoベンチマークを用いて,マルチターンコンテキスト選択タスクの評価を行った。
論文 参考訳(メタデータ) (2026-01-01T19:43:05Z) - A Framework for Quantifying How Pre-Training and Context Benefit In-Context Learning [52.07397258423034]
現実的な設定のクラスにおいて,ICLの性能を解析するための新しいフレームワークを提案する。
我々は、ICL性能と文脈長、および事前訓練と問合せタスク分布のKL分散の正確な関係を導出する。
論文 参考訳(メタデータ) (2025-10-26T09:21:29Z) - Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation [55.47971671635531]
大言語モデル(LLM)は、一般質問回答(QA)において顕著な性能を示した。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識で強化することで、この制限に対処する。
既存のシステムは、主に構造化されていないドキュメントに依存しているが、主にリレーショナルデータベースを見下ろしている。
論文 参考訳(メタデータ) (2025-09-30T22:19:44Z) - Source Attribution in Retrieval-Augmented Generation [3.579940498399598]
本稿では,RAGにおける重要文書を識別するために,Shapleyに基づく属性を適応させることの有効性と有効性について検討する。
本研究の目的は,(1) 確立された帰属原則をRAG文書レベル設定に体系的に適用すること,(2) SHAP近似がどの程度正確な帰属を反映できるかを定量化すること,(3) 重要な文書を特定するための実践的説明可能性を評価することである。
論文 参考訳(メタデータ) (2025-07-06T17:36:45Z) - Exploring the Role of Diversity in Example Selection for In-Context Learning [15.124618479338686]
In-Context Learning (ICL) は、広範囲なトレーニングデータを必要とすることなくタスクを実行する能力と、ノイズの多いラベルに対する堅牢性によって、注目を集めている。
類似性に基づいた選択にのみ依存すると、検索されたコンテキストにトピックのバイアスが発生する可能性がある。
トピックの多様性を高めるために検索したコンテキストを再配置することは、ダウンストリームタスクのパフォーマンスを向上させることができると仮定する。
論文 参考訳(メタデータ) (2025-05-03T15:13:58Z) - Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。
第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。
第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
論文 参考訳(メタデータ) (2025-02-11T19:24:09Z) - Listen, Adapt, Better WER: Source-free Single-utterance Test-time
Adaptation for Automatic Speech Recognition [65.84978547406753]
Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。
単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
論文 参考訳(メタデータ) (2022-03-27T06:38:39Z) - Universal Source-Free Domain Adaptation [57.37520645827318]
ドメイン適応のための新しい2段階学習プロセスを提案する。
Procurementの段階では、今後のカテゴリギャップやドメインシフトに関する事前知識を前提とせず、将来的なソースフリーデプロイメントのためのモデルの提供を目標としています。
Deploymentの段階では、幅広いカテゴリギャップをまたいで動作可能な統一適応アルゴリズムを設計することを目的としている。
論文 参考訳(メタデータ) (2020-04-09T07:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。