論文の概要: TDR: Task-Decoupled Retrieval with Fine-Grained LLM Feedback for In-Context Learning

• arxiv url: http://arxiv.org/abs/2507.18340v1
• Date: Thu, 24 Jul 2025 12:12:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:43.619355
• Title: TDR: Task-Decoupled Retrieval with Fine-Grained LLM Feedback for In-Context Learning
• Title（参考訳）: TDR:インコンテキスト学習のための細粒LLMフィードバックを用いたタスク分離検索
• Authors: Yifu Chen, Bingchen Huang, Zhiling Wang, Yuanchao Du, Junfeng Luo, Lei Shen, Zhineng chen,
• Abstract要約: インコンテキスト学習(ICL)は、いくつかのインプット・アウトプット・サンプルに基づいてLLMが様々なタスクを扱えるようにするための古典的なアプローチとなっている。 ICLの有効性はこれらの例の質に大きく依存しており、例検索能力の向上に重点を置いた以前の研究は印象的な成果を上げている。
• 参考スコア（独自算出の注目度）: 15.674990209737182
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) has become a classic approach for enabling LLMs to handle various tasks based on a few input-output examples. The effectiveness of ICL heavily relies on the quality of these examples, and previous works which focused on enhancing example retrieval capabilities have achieved impressive performances. However, two challenges remain in retrieving high-quality examples: (1) Difficulty in distinguishing cross-task data distributions, (2) Difficulty in making the fine-grained connection between retriever output and feedback from LLMs. In this paper, we propose a novel framework called TDR. TDR decouples the ICL examples from different tasks, which enables the retrieval module to retrieve examples specific to the target task within a multi-task dataset. Furthermore, TDR models fine-grained feedback from LLMs to supervise and guide the training of the retrieval module, which helps to retrieve high-quality examples. We conducted extensive experiments on a suite of 30 NLP tasks, the results demonstrate that TDR consistently improved results across all datasets and achieves state-of-the-art performance. Meanwhile, our approach is a plug-and-play method, which can be easily combined with various LLMs to improve example retrieval abilities for ICL. The code is available at https://github.com/Nnn-s/TDR.
• Abstract（参考訳）: インコンテキスト学習(ICL)は、いくつかのインプット・アウトプット・サンプルに基づいてLLMが様々なタスクを扱えるようにするための古典的なアプローチとなっている。 ICLの有効性はこれらの例の質に大きく依存しており、例検索能力の向上に重点を置いた以前の研究は印象的な成果を上げている。 しかし,(1)クロスタスクデータ分布の識別が困難であること,(2)レシーバ出力とLLMからのフィードバックの微粒化が困難であること,の2つの課題が残されている。 本稿では,TDRと呼ばれる新しいフレームワークを提案する。 TDRはICLの例を異なるタスクから切り離し、検索モジュールはマルチタスクデータセット内でターゲットタスク固有の例を検索できる。 さらに、TDRはLLMからのきめ細かいフィードバックをモデル化し、検索モジュールのトレーニングを監督し、ガイドし、高品質なサンプルを検索するのに役立つ。 我々は30のNLPタスクのスイートに対して広範囲に実験を行い、TDRがすべてのデータセットに対して一貫して改善し、最先端のパフォーマンスを実現することを示した。 一方,本手法はプラグイン・アンド・プレイ方式であり,様々なLCMと組み合わせることで,ICLのサンプル検索能力を向上させることができる。 コードはhttps://github.com/Nnn-s/TDRで公開されている。

関連論文リスト

• LLMs as Data Annotators: How Close Are We to Human Performance [47.61698665650761]
  データのマニュアルアノテーションは、労働集約的で、時間がかかり、コストがかかる。 In-context Learning (ICL) では、タスクに関連するいくつかの例がプロンプトで与えられると、非効率性や準最適モデルの性能につながる可能性がある。 本稿では,NERタスクの様々なデータセットに対して,異なる埋め込みモデルを考慮した複数のLLMの比較実験を行う。
  論文  参考訳（メタデータ） (2025-04-21T11:11:07Z)
• LamRA: Large Multimodal Model as Your Advanced Retrieval Assistant [63.28378110792787]
  LamRAは大規模マルチモーダルモデルに高度な検索と再ランク機能を持たせるために設計された多機能フレームワークである。 検索には、言語のみの事前学習とマルチモーダル・インストラクション・チューニングからなる2段階のトレーニング戦略を採用する。 再格付けには、ポイントワイドとリストワイドの両方のジョイントトレーニングを採用し、検索性能をさらに向上させる2つの方法を提供している。
  論文  参考訳（メタデータ） (2024-12-02T17:10:16Z)
• DeTriever: Decoder-representation-based Retriever for Improving NL2SQL In-Context Learning [19.93800175353809]
  DeTrieverは、隠れた状態の重み付けを学習する新しいデモ検索フレームワークである。 提案手法は1ショットNL2タスクにおける最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2024-06-12T06:33:54Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• Unified Demonstration Retriever for In-Context Learning [56.06473069923567]
  Unified Demonstration Retriever (textbfUDR)は、幅広いタスクのデモを検索する単一のモデルである。 我々は,高品質な候補を見つけるための反復的なマイニング戦略を備えたマルチタスクリストワイド・トレーニング・フレームワークを提案する。 13のタスクファミリーと複数のデータドメインにわたる30以上のタスクの実験は、UDRがベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2023-05-07T16:07:11Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。