論文の概要: Topic Coverage-based Demonstration Retrieval for In-Context Learning
- arxiv url: http://arxiv.org/abs/2509.12451v1
- Date: Mon, 15 Sep 2025 21:00:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-17 17:50:52.762815
- Title: Topic Coverage-based Demonstration Retrieval for In-Context Learning
- Title(参考訳): トピック被覆に基づくインテクスト学習のための実証検索
- Authors: Wonbin Kweon, SeongKu Kang, Runchu Tian, Pengcheng Jiang, Jiawei Han, Hwanjo Yu,
- Abstract要約: コンテキスト内学習は、与えられたテスト入力に必要な情報をすべて提供するデモを選択することに大きく依存する。
従来の手法は、しばしば、埋め込み類似性または生成確率のみに基づいてデモを検索し、無関係または冗長な例をもたらす。
テスト入力とモデルの両方に関連するトピックレベルの知識を包括的にカバーするデモを選択するトピックカバレッジベースの検索フレームワークであるTopicKを提案する。
- 参考スコア(独自算出の注目度): 38.132341957258284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The effectiveness of in-context learning relies heavily on selecting demonstrations that provide all the necessary information for a given test input. To achieve this, it is crucial to identify and cover fine-grained knowledge requirements. However, prior methods often retrieve demonstrations based solely on embedding similarity or generation probability, resulting in irrelevant or redundant examples. In this paper, we propose TopicK, a topic coverage-based retrieval framework that selects demonstrations to comprehensively cover topic-level knowledge relevant to both the test input and the model. Specifically, TopicK estimates the topics required by the input and assesses the model's knowledge on those topics. TopicK then iteratively selects demonstrations that introduce previously uncovered required topics, in which the model exhibits low topical knowledge. We validate the effectiveness of TopicK through extensive experiments across various datasets and both open- and closed-source LLMs. Our source code is available at https://github.com/WonbinKweon/TopicK_EMNLP2025.
- Abstract(参考訳): コンテキスト内学習の有効性は、与えられたテスト入力に必要な情報をすべて提供するデモの選択に大きく依存する。
これを実現するためには、きめ細かい知識要件を特定し、カバーすることが不可欠である。
しかし、先行する手法は、しばしば類似性や生成確率を埋め込むだけでデモを回収し、無関係な例や冗長な例をもたらす。
本稿では、テスト入力とモデルの両方に関連するトピックレベルの知識を包括的にカバーするデモを選択するトピックカバレッジベースの検索フレームワークであるTopicKを提案する。
具体的には、TopicKは入力に必要なトピックを推定し、それらのトピックに関するモデルの知識を評価する。
その後、TopicKは、モデルが低いトピックの知識を示す、これまで明らかにされていなかったトピックを紹介するデモを反復的に選択する。
TopicKの有効性は、様々なデータセットおよびオープンソースLLMおよびクローズドソースLLMの広範な実験を通して検証する。
ソースコードはhttps://github.com/WonbinKweon/TopicK_EMNLP2025で公開されています。
関連論文リスト
- Learning to Detect Relevant Contexts and Knowledge for Response Selection in Retrieval-based Dialogue Systems [32.895603852919194]
我々はtextbfContext と textbfKnowledge コレクションの関連部分を textbfDetect で検出できる multi-turn textbfResponse textbfSelection textbfModel を提案する。
我々のモデルは、まず、単語レベルと発話レベルのセマンティクスにおいて、コンテキストと知識コレクションの関連部分を事前に選択するために、最近のコンテキストをクエリとして使用する。
論文 参考訳(メタデータ) (2025-09-26T18:53:29Z) - Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
論文 参考訳(メタデータ) (2024-10-24T17:56:08Z) - Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。
本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。
提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
論文 参考訳(メタデータ) (2024-08-29T12:34:01Z) - Visual CoT: Advancing Multi-Modal Language Models with a Comprehensive Dataset and Benchmark for Chain-of-Thought Reasoning [40.972648044298374]
MLLM(Multi-Modal Large Language Models)は様々なVQAタスクにおいて顕著な性能を示す。
解釈可能性に欠け、複雑な視覚的な入力に苦しむことが多い。
438k問合せ対からなる大規模Visual CoTデータセットを提案する。
視覚的な入力を動的に重視し,解釈可能な思考を提供するマルチターン処理パイプラインを提案する。
論文 参考訳(メタデータ) (2024-03-25T17:59:23Z) - Skill-Based Few-Shot Selection for In-Context Learning [123.26522773708683]
Skill-KNNは、文脈内学習のためのスキルベースの少ショット選択手法である。
モデルはトレーニングや微調整を必要とせず、頻繁に銀行を拡大したり変更したりするのに適している。
5つのドメイン間セマンティックパーシングデータセットと6つのバックボーンモデルによる実験結果から、Skill-KNNは既存の手法よりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2023-05-23T16:28:29Z) - Exploring Effective Factors for Improving Visual In-Context Learning [56.14208975380607]
In-Context Learning(ICL)は、いくつかのデモ(別名プロンプト)を通じて新しいタスクを理解し、モデルをチューニングせずに新しい入力を予測することである。
本稿では,視覚的文脈学習の推論性能に直接的な影響を及ぼす要因として,迅速な選択と迅速な融合があげられる。
視覚的インコンテキスト学習のためのシンプルなフレームワークプロンプトSelFを提案する。
論文 参考訳(メタデータ) (2023-04-10T17:59:04Z) - Compositional Exemplars for In-context Learning [21.961094715261133]
大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。
本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。
我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
論文 参考訳(メタデータ) (2023-02-11T14:02:08Z) - TAN-NTM: Topic Attention Networks for Neural Topic Modeling [8.631228373008478]
本稿では,入力層におけるBoWの代わりに,文書をトークンのシーケンスとしてモデル化する新しいフレームワークであるTAN-NTMを提案する。
我々はLSTM出力に注意を払って、トピックに関連する手がかりを伝達する関連単語への参加をモデルに与える。
TAN-NTMは、NPMIコヒーレンスメトリックにおける既存のSOTAトピックモデルのスコアよりも9~15パーセント向上した最先端結果を達成する。
論文 参考訳(メタデータ) (2020-12-02T20:58:04Z) - Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。
また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。
実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
論文 参考訳(メタデータ) (2020-08-11T03:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。