論文の概要: Toward Robust In-Context Learning: Leveraging Out-of-distribution Proxies for Target Inaccessible Demonstration Retrieval

• arxiv url: http://arxiv.org/abs/2606.00014v1
• Date: Mon, 13 Apr 2026 10:22:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.570858
• Title: Toward Robust In-Context Learning: Leveraging Out-of-distribution Proxies for Target Inaccessible Demonstration Retrieval
• Title（参考訳）: ロバストなインコンテキスト学習に向けて:到達不能な実証検索のための分布外プロキシを活用する
• Authors: Hao Xu, Rite Bo, Fausto Giunchiglia, Yingji Li, Rui Song,
• Abstract要約: DOPAは、OODプロキシを組み込んで、アクセス不能なターゲットドメインを近似し、検索プロセスをガイドするデモ検索フレームワークである。 プロキシに基づく評価に基づいて、DOPAはさらに、マハラノビス距離に基づくグローバルな多様性制約を導入し、得られたデモ間で十分な多様性を保証する。
• 参考スコア（独自算出の注目度）: 29.89668603931321
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Although studies have demonstrated that Large Language Models (LLMs) can perform well on Out-of-Distribution (OOD) tasks, their advantage tends to diminish as the distribution shift becomes more severe. Consequently, researchers aim to retrieve distributionally similar and informative demonstrations from the available source domain to boost the inference capabilities of LLMs. However, in practical scenarios where the target domain is inaccessible, evaluating the unknown distribution is challenging, which indirectly impacts the quality of the selected demonstrations. To address this problem, we propose \textbf{DOPA}, a demonstration search framework that incorporates an OOD proxy to approximate the inaccessible target domain and guide the retrieval process. Building on proxy-based evaluation, DOPA further introduces a Mahalanobis distance-based global diversity constraint to ensure sufficient diversity among the retrieved demonstrations. Experimental results on multiple LLMs and tasks demonstrate that DOPA effectively enhances robustness in OOD settings\footnote{https://github.com/bort64/ood\_code}.
• Abstract（参考訳）: LLM(Large Language Models)がOOD(Out-of-Distribution)タスクでうまく機能することが研究によって示されているが、分布シフトがより深刻になるにつれて、その優位性は低下する傾向にある。 その結果、研究者はLLMの推論能力を高めるために、利用可能なソースドメインから分布的に類似し、情報的なデモを検索することを目指している。 しかし、ターゲットドメインがアクセスできない現実的なシナリオでは、未知の分布を評価することは困難であり、選択されたデモの品質に間接的に影響を及ぼす。 この問題に対処するために, OODプロキシを組み込んで, アクセス不能なターゲットドメインを近似し, 検索プロセスをガイドするデモ検索フレームワークである \textbf{DOPA} を提案する。 プロキシに基づく評価に基づいて、DOPAはさらに、マハラノビス距離に基づくグローバルな多様性制約を導入し、得られたデモ間で十分な多様性を保証する。 複数のLDMとタスクの実験結果から、DOPAはOOD設定の堅牢性を効果的に向上することが示された。

関連論文リスト

• Revisiting Logit Distributions for Reliable Out-of-Distribution Detection [73.9121001113687]
  アウト・オブ・ディストリビューション(OOD)検出は、オープンワールドアプリケーションにおけるディープラーニングモデルの信頼性を保証するために重要である。 LogitGapは、最大ロジットと残りのロジットの関係を利用する、ポストホックなOOD検出手法である。 我々は、LogitGapが様々なOOD検出シナリオとベンチマークにわたって、最先端のパフォーマンスを一貫して達成していることを示す。
  論文  参考訳（メタデータ） (2025-10-23T02:16:45Z)
• Prompt Optimization Meets Subspace Representation Learning for Few-shot Out-of-Distribution Detection [9.568142719582974]
  本稿では,サブスペース表現学習と即時チューニングを統合した新しいフレームワークを提案する。 提案手法は,ID特徴をプロンプトベクトルに分散した部分空間に投影することで,ID-OOD分離性を向上する。 実世界のデータセットの実験では、我々のアプローチの有効性が示されています。
  論文  参考訳（メタデータ） (2025-09-09T21:03:46Z)
• RvLLM: LLM Runtime Verification with Domain Knowledge [8.15645390408007]
  大規模言語モデル(LLM)は、例外的なテキスト理解と生成能力のため、AIパラダイムの主流として現れている。 不整合または誤ったアウトプットを生成する傾向は、特に正確さと信頼性を必要とする高い領域において、その信頼性に挑戦する。 既存の研究は、多くの場合、ドメイン固有の知識を統合する可能性を見越して、汎用シナリオにおけるモデル誤動作の検出と緩和に重点を置いている。
  論文  参考訳（メタデータ） (2025-05-24T08:21:44Z)
• What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis [81.15503859645149]
  本稿では,大規模言語モデルの推論性能に及ぼす文脈内実演の影響を理論的に解析することを目的とする。 本稿では, LMS3 という, 単純で一般化可能な, 低複雑さな実演選択法を提案する。
  論文  参考訳（メタデータ） (2024-12-11T11:38:11Z)
• Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning [62.05713042908654]
  本稿では,これらの課題を克服するために,高品質な実演データを活用する新しいアプローチであるAlignment from Demonstrations (AfD)を紹介する。 AfDをシーケンシャルな意思決定フレームワークで形式化し、報酬信号の欠如というユニークな課題を強調します。 そこで本研究では,AfD に適した報酬モデル上で補間を行う計算効率のよいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-24T15:13:53Z)
• Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
  大規模言語モデル(LLM)は様々なタスクにおいて補完的な強みを示し、LLMアンサンブルの研究を動機付けている。 本稿では,各復号ステップで異なるLLMから得られる情報的確率分布を融合した学習自由アンサンブルフレームワークDeePEnを提案する。
  論文  参考訳（メタデータ） (2024-04-19T08:52:22Z)
• Diversified Outlier Exposure for Out-of-Distribution Detection via Informative Extrapolation [110.34982764201689]
  Out-of-Distribution(OOD)検出は、現実のアプリケーションに信頼性の高い機械学習モデルをデプロイするために重要である。 近年, 外部曝露によるOOD検出に有意な結果が得られた。 本稿では,補助外乱量に基づく情報外挿による効果的なOOD検出のための新しい枠組み,すなわちDivOE(Diversified Outlier Exposure)を提案する。
  論文  参考訳（メタデータ） (2023-10-21T07:16:09Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。