論文の概要: Reasoning Graph Enhanced Exemplars Retrieval for In-Context Learning

• arxiv url: http://arxiv.org/abs/2409.11147v2
• Date: Thu, 12 Dec 2024 07:50:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 17:01:23.542982
• Title: Reasoning Graph Enhanced Exemplars Retrieval for In-Context Learning
• Title（参考訳）: 文脈内学習における経験的検索のための推論グラフの強化
• Authors: Yukang Lin, Bingchen Zhong, Shuoran Jiang, Joanna Siebert, Qingcai Chen,
• Abstract要約: RGER(Reasoning Graph-enhanced Exemplar Retrieval) RGERはグラフカーネルを使用して、意味的および構造的類似性のある例を選択する。 私たちのコードはhttps://github.com/Yukang-Lin/RGER.comで公開されています。
• 参考スコア（独自算出の注目度）: 13.381974811214764
• License:
• Abstract: Large language models (LLMs) have exhibited remarkable few-shot learning capabilities and unified the paradigm of NLP tasks through the in-context learning (ICL) technique. Despite the success of ICL, the quality of the exemplar demonstrations can significantly influence the LLM's performance. Existing exemplar selection methods mainly focus on the semantic similarity between queries and candidate exemplars. On the other hand, the logical connections between reasoning steps can be beneficial to depict the problem-solving process as well. In this paper, we proposes a novel method named Reasoning Graph-enhanced Exemplar Retrieval (RGER). RGER first quires LLM to generate an initial response, then expresses intermediate problem-solving steps to a graph structure. After that, it employs graph kernel to select exemplars with semantic and structural similarity. Extensive experiments demonstrate the structural relationship is helpful to the alignment of queries and candidate exemplars. The efficacy of RGER on math and logit reasoning tasks showcases its superiority over state-of-the-art retrieval-based approaches. Our code is released at https://github.com/Yukang-Lin/RGER.
• Abstract（参考訳）: 大規模言語モデル (LLM) は, 卓越した数発の学習能力を示し, 文脈内学習 (ICL) 技術により, NLPタスクのパラダイムを統一した。 ICLの成功にもかかわらず、模範的なデモの質はLLMのパフォーマンスに大きな影響を及ぼす可能性がある。 既存の例選択法は主に、クエリと候補例のセマンティックな類似性に焦点を当てている。 一方、推論ステップ間の論理的接続は、問題解決プロセスの記述にも有用である。 本稿では,Reasoning Graph-enhanced Exemplar Retrieval (RGER) という新しい手法を提案する。 RGER はまず LLM を取得して初期応答を生成し、次に中間的な問題解決ステップをグラフ構造に表現する。 その後、グラフカーネルを使用して、意味的および構造的類似性のある例を選択する。 広範囲にわたる実験は、構造的関係がクエリと候補例のアライメントに役立つことを実証している。 数学とロジット推論タスクにおけるRGERの有効性は、最先端の検索に基づくアプローチよりも優れていることを示している。 私たちのコードはhttps://github.com/Yukang-Lin/RGER.comで公開されています。

関連論文リスト

• SocialGPT: Prompting LLMs for Social Relation Reasoning via Greedy Segment Optimization [70.11167263638562]
  社会的関係推論は、友人、配偶者、同僚などの関係カテゴリを画像から識別することを目的としている。 まず、VFM(Vision Foundation Models)の知覚能力と、モジュラーフレームワーク内でのLLM(Large Language Models)の推論能力を組み合わせた、シンプルだが巧妙な名前のフレームワークを提示する。
  論文  参考訳（メタデータ） (2024-10-28T18:10:26Z)
• DeTriever: Decoder-representation-based Retriever for Improving NL2SQL In-Context Learning [19.93800175353809]
  DeTrieverは、隠れた状態の重み付けを学習する新しいデモ検索フレームワークである。 提案手法は1ショットNL2タスクにおける最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2024-06-12T06:33:54Z)
• FastGAS: Fast Graph-based Annotation Selection for In-Context Learning [53.17606395275021]
  インコンテキスト学習(ICL)は、大規模言語モデル(LLM)に対して、一連のトレーニングインスタンスをプロンプトとして使用することにより、新しいタスクに対処する権限を与える。 既存の手法では、アノテーションのラベルなし例のサブセットを選択する方法が提案されている。 本稿では,高品質なインスタンスを効率的に識別するグラフベースの選択手法であるFastGASを提案する。
  論文  参考訳（メタデータ） (2024-06-06T04:05:54Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• Chain of Thoughtlessness? An Analysis of CoT in Planning [17.329365493094542]
  推論問題におけるLLM(Large Language Model)のパフォーマンスは通常、分布から一般化しない。 本稿では,古典的計画領域であるBlocksworldの問題に対する思考連鎖のケーススタディを示す。 それらのプロンプトが問題クラスに特有である場合、一連の思考プロンプトから有意義なパフォーマンス改善が得られます。
  論文  参考訳（メタデータ） (2024-05-08T02:48:28Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)
• Why Settle for Just One? Extending EL++ Ontology Embeddings with Many-to-Many Relationships [2.599882743586164]
  知識グラフ埋め込みは、知識グラフの実体と関係の低次元表現を提供する。 この方向の最近の取り組みは、EL++と呼ばれる記述(記述のための論理論理)への埋め込みの学習である。 我々は、埋め込み表現を学習しながら、多対多の関係を考慮できる、シンプルで効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2021-10-20T13:23:18Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。