論文の概要: Self-GIVE: Associative Thinking from Limited Structured Knowledge for Enhanced Large Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2505.15062v1
• Date: Wed, 21 May 2025 03:30:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.84092
• Title: Self-GIVE: Associative Thinking from Limited Structured Knowledge for Enhanced Large Language Model Reasoning
• Title（参考訳）: Self-Give: 大規模言語モデル推論のための限定構造知識からの連想的思考
• Authors: Jiashu He, Jinxuan Fan, Bowen Jiang, Ignacio Houine, Dan Roth, Alejandro Ribeiro,
• Abstract要約: Graph Inspired Veracity Extrapolation (GIVE)は、知識グラフ(KG)を用いて構造化知識を外挿する。 本稿では,自動連想思考による大規模言語モデルの拡張を目的とした検索RLフレームワークであるSelf-GIVEを提案する。 Self-GIVEは、構造化された検索と推論と連想的思考とのスケーラブルな統合を強化する。
• 参考スコア（独自算出の注目度）: 103.20561312320294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When addressing complex questions that require new information, people often associate the question with existing knowledge to derive a sensible answer. For instance, when evaluating whether melatonin aids insomnia, one might associate "hormones helping mental disorders" with "melatonin being a hormone and insomnia a mental disorder" to complete the reasoning. Large Language Models (LLMs) also require such associative thinking, particularly in resolving scientific inquiries when retrieved knowledge is insufficient and does not directly answer the question. Graph Inspired Veracity Extrapolation (GIVE) addresses this by using a knowledge graph (KG) to extrapolate structured knowledge. However, it involves the construction and pruning of many hypothetical triplets, which limits efficiency and generalizability. We propose Self-GIVE, a retrieve-RL framework that enhances LLMs with automatic associative thinking through reinforcement learning. Self-GIVE extracts structured information and entity sets to assist the model in linking to the queried concepts. We address GIVE's key limitations: (1) extensive LLM calls and token overhead for knowledge extrapolation, (2) difficulty in deploying on smaller LLMs (3B or 7B) due to complex instructions, and (3) inaccurate knowledge from LLM pruning. Specifically, after fine-tuning using self-GIVE with a 135 node UMLS KG, it improves the performance of the Qwen2.5 3B and 7B models by up to $\textbf{28.5%$\rightarrow$71.4%}$ and $\textbf{78.6$\rightarrow$90.5%}$ in samples $\textbf{unseen}$ in challenging biomedical QA tasks. In particular, Self-GIVE allows the 7B model to match or outperform GPT3.5 turbo with GIVE, while cutting token usage by over 90\%. Self-GIVE enhances the scalable integration of structured retrieval and reasoning with associative thinking.
• Abstract（参考訳）: 新しい情報を必要とする複雑な質問に対処するとき、人々はしばしば、その質問を既存の知識と結びつけて、合理的な答えを導き出す。 例えば、メラトニンが不眠症を治療するかどうかを評価するとき、「ホルモンであるメラトニンと精神障害であるメラトニン」を関連付け、推論を完了させる。 大規模言語モデル (LLMs) もまたそのような連想的思考を必要としており、特に検索された知識が不十分で、直接答えることができない科学的な問いを解決する際にはである。 Graph Inspired Veracity Extrapolation (GIVE)は、知識グラフ(KG)を用いて構造化知識を外挿する。 しかし、これは効率性と一般化性を制限する多くの仮説的な三つ子の構築と刈り取りを伴う。 本稿では,強化学習による自己連想的思考によりLLMを強化した検索RLフレームワークであるSelf-GIVEを提案する。 Self-GIVEは構造化情報とエンティティセットを抽出し、クエリされた概念にリンクするモデルを支援する。 本稿では,(1)知識補間のためのLLM呼び出しとトークンオーバーヘッド,(2)複雑な命令によるより小さなLLM(3Bまたは7B)へのデプロイの難しさ,(3)LLMプルーニングからの不正確な知識など,GIVEの主な制約に対処する。 具体的には、Qwen2.5 3Bと7Bモデルの性能を最大$\textbf{28.5%$\rightarrow$71.4%}$と$\textbf{78.6$\rightarrow$90.5%}$サンプル$\textbf{unseen}$で改善する。 特に、Self-GIVEは7BモデルでGIVEとGPT3.5ターボをマッチングまたは性能良くし、トークンの使用率を90%以上削減できる。 Self-GIVEは、構造化された検索と推論と連想的思考とのスケーラブルな統合を強化する。

関連論文リスト

• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Neural-Symbolic Collaborative Distillation: Advancing Small Language Models for Complex Reasoning Tasks [30.572064185770298]
  大規模言語モデル(LLM)の複雑な推論能力を学習するための新しい知識蒸留法を提案する。 NesyCDはLLMの一般的な能力と専門知識を異なる方法で蒸留する。 実験の結果,NesyCDは領域内(BBH, GSM8K)および領域外(AGIEval, ARC)データセット上でのSLMの複雑な推論性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-09-20T04:17:13Z)
• Tree-of-Traversals: A Zero-Shot Reasoning Algorithm for Augmenting Black-box Language Models with Knowledge Graphs [72.89652710634051]
  知識グラフ(KG)は、信頼性があり、構造化され、ドメイン固有であり、最新の外部知識を提供することで、Large Language Models(LLM)を補完する。 そこで本研究では,ゼロショット推論アルゴリズムであるTree-of-Traversalsを導入する。
  論文  参考訳（メタデータ） (2024-07-31T06:01:24Z)
• Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
  大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。 質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。 我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
  論文  参考訳（メタデータ） (2024-05-26T22:30:29Z)
• Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph [29.447300472617826]
  Think-on-Graph (ToG)は、大規模言語モデル(LLM)における外部知識グラフ(KG)に対する新しいアプローチである。 ToGはKG上でビームサーチを繰り返し実行し、最も有望な推論経路を発見し、最も可能性の高い推論結果を返す。 ToGは、以前のSOTAが追加トレーニングに依存する9つのデータセットのうち6つで、全体的なSOTAを達成する。
  論文  参考訳（メタデータ） (2023-07-15T03:31:38Z)
• Empowering Language Models with Knowledge Graph Reasoning for Question Answering [117.79170629640525]
  我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。 OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。 クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-15T18:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。