論文の概要: You Only Edit Once: Incentivizing In-Context Capability of LLMs via Local Demonstration Refinement

• arxiv url: http://arxiv.org/abs/2609.33609v1
• Date: Sun, 27 Sep 2026 14:26:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:22:28.718616
• Title: You Only Edit Once: Incentivizing In-Context Capability of LLMs via Local Demonstration Refinement
• Title（参考訳）: 一度だけ編集する:ローカルデモリファインメントによるLLMのインコンテキスト能力のインセンティブ
• Abstract要約: 大規模言語モデル(LLM)の推論性能向上には,インコンテキスト学習(ICL)が不可欠である。 本研究は,制約付き局所探索問題としてフレーミングすることで選択を簡略化し,局所的な実演編集(LDE)を行う。 テスト時に、Jev-LDEは検索したデモセットの1つの編集を実行し、続いてターゲットのLSMからの1つの推論を実行し、反復的なコンテキストスコアリングやサブセット検索を回避する。
• 参考スコア（独自算出の注目度）: 48.35900466161372
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) is crucial for boosting the inference performance of large language models (LLMs). However, the effectiveness of ICL in LLMs is greatly influenced by the choice of demonstration sets. Exhaustive searches over these sets are combinatorial, and existing selectors often rely on relevance or likelihood proxies to implicitly assess ICL quality. Making repeated queries to the target LLM with these strategies can incur substantial costs. This work simplifies selection by framing it as a constrained local search problem and presents local demonstration editing (LDE). Starting with an initially retrieved set of demonstrations, LDE employs a single structured edit to explore its surrounding neighborhood while balancing performance gains with search costs. Technically, LDE is reduced to a policy search problem, for which we train a small LLM, referred to as Jev-LDE. This model as the System-1 modifies the retrieved demonstration set by performing actions such as \texttt{Keep}, \texttt{Delete}, or \texttt{Replace} elements, all within a framework of reinforcement learning with verifiable rewards. At test time, Jev-LDE executes a single edit of the retrieved demonstration set, followed by one inference from the target LLM, avoiding the need for iterative context scoring or subset searches. Across standard classification benchmarks, various target LLMs with Jev-LDE as the plug-and-play module consistently improve ICL performance, and Jev-LDE shows transferability to held-out benchmarks and models without retraining. These findings indicate that the LDE approach offers an efficient and adaptable method for harnessing the ICL capabilities of target LLMs.
• Abstract（参考訳）: In-context Learning (ICL) は、大規模言語モデル(LLM)の推論性能を高めるために重要である。 しかし, LLMにおけるICLの有効性は, 実演セットの選択に大きく影響されている。 既存のセレクタは、ICLの品質を暗黙的に評価するために、関連性や潜在的プロキシに依存することが多い。 これらの戦略でLLMに対して繰り返しクエリを行うことは、かなりのコストを発生させる可能性がある。 本研究は,制約付き局所探索問題として選択を単純化し,局所的な実演編集(LDE)を行う。 当初検索された一連のデモから始めて、LDEは1つの構造化された編集を使って周辺を探索し、性能向上と検索コストのバランスをとる。 技術的には、LDE はポリシー探索問題に還元され、Jev-LDE と呼ばれる小さな LLM を訓練する。 System-1としてのこのモデルは、検索されたデモセットを、検証可能な報酬を伴う強化学習のフレームワーク内で、 \texttt{Keep}、 \texttt{Delete}、 \texttt{Replace}要素などのアクションを実行することで変更する。 テスト時に、Jev-LDEは検索したデモセットの1つの編集を実行し、続いてターゲットのLSMからの1つの推論を実行し、反復的なコンテキストスコアリングやサブセット検索を回避する。 標準分類ベンチマーク全体において、プラグイン・アンド・プレイモジュールとしてのJev-LDEを使った様々なターゲットLSMは、常にICL性能を改善し、Jev-LDEは、再トレーニングせずに、保留中のベンチマークやモデルへの転送可能性を示している。 これらの結果から,LDE手法は目標LLMのICL機能を利用するための効率的かつ適応的な手法であることがわかった。

関連論文リスト

• Task-Adaptive Embedding Refinement via Test-time LLM Guidance [3.6468227618496627]
  組込みモデルのユーザビリティをゼロショット検索と分類タスクに拡張するためのLLM誘導クエリ改善パラダイムの有効性について検討する。 提案手法では, ユーザクエリの埋め込み表現を, 少数の文書に対して生成LLMからのフィードバックを用いて洗練する。 我々は,最先端のテキスト埋め込みモデルを用いて,多様な検索と分類のベンチマークを行う。
  論文  参考訳（メタデータ） (2026-05-12T17:58:27Z)
• SERE: Structural Example Retrieval for Enhancing LLMs in Event Causality Identification [50.174050426976514]
  事象因果同定(ECI)は、ある文脈におけるある一対の事象が因果関係を示すかどうかを決定するモデルを必要とする。 大規模言語モデル(LLM)は様々なNLPタスクに対して高い性能を示してきたが、因果推論のバイアスのため、ECIにおけるその有効性は制限されている。 LLMの少数ショット学習機能を活用した構造例検索フレームワークSEREを提案する。
  論文  参考訳（メタデータ） (2026-05-05T12:50:19Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• In-Context Learning with Reinforcement Learning for Incomplete Utterance Rewriting [33.89176174108559]
  大規模言語モデル(LLM)の文脈内学習は、いくつかの例で拡張された命令に基づいて予測を行う。 ICLの既存の例選択方法はスパースまたは高密度レトリバーを使用し、有効性能を導出する。 本稿では,言語モデルセレクタとLLMジェネレータから構成される実例選択(RLS)のためのポリシーベース強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-23T12:32:12Z)
• Large Language Models Know What Makes Exemplary Contexts [42.90814615222177]
  In-context Learning (ICL) は、Large Language Model (LLM) の発展において重要な機能であることが証明されている。 本稿では,LLMのための統合フレームワークを提案する。このフレームワークにより,影響力のあるインコンテキストのサンプルを自己選択してコンテキストを構成することができる。
  論文  参考訳（メタデータ） (2024-08-14T12:32:41Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Lever LM: Configuring In-Context Sequence to Lever Large Vision Language Models [45.67877482179697]
  我々は,67Mパラメータを持つ変換器である小言語モデル(LM)を用いて,9Bパラメータを持つはるかに大きな視覚言語モデル(LVLM)をレバーすることを提案する。 具体的には、この textbfLever-LM を用いて、LVLM のインコンテキストリアリング(ICL)性能を改善するために、効果的なインコンテキスト・デモ(ICD)シーケンスを構成する。
  論文  参考訳（メタデータ） (2023-12-15T03:11:03Z)
• The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning [61.68787689234622]
  最近の研究であるLIMAは、アライメントチューニングに1Kの例のみを用いることで、アライメント性能も著しく向上することを示した。 これにより、アライメントチューニングがベースLLMをどのように変換するかという疑問が提起される。 本研究では,チューニングフリーとチューニングベースアライメントのギャップを戦略的プロンプトによって著しく低減できることを示す。
  論文  参考訳（メタデータ） (2023-12-04T00:46:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。