論文の概要: Advancing Academic Knowledge Retrieval via LLM-enhanced Representation Similarity Fusion
- arxiv url: http://arxiv.org/abs/2410.10455v1
- Date: Mon, 14 Oct 2024 12:49:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-29 21:34:52.227890
- Title: Advancing Academic Knowledge Retrieval via LLM-enhanced Representation Similarity Fusion
- Title（参考訳）: LLM強調表現類似性融合による学術知識検索の促進
- Authors: Wei Dai, Peng Fu, Chunjing Gan,
- Abstract要約: 本稿では,KDDカップ2024チャレンジで2位を獲得したRobo Spaceが提案したLDM-KnowSimFuserを紹介する。
複数のタスクにおけるLLMの優れた性能からインスピレーションを得て、まずLLM強化事前学習検索モデルを用いて微調整と推論を行う。
コンペティションデータセットで行った実験は、最終リーダーボードで0.20726のスコアを得た提案の優位性を示している。
- 参考スコア（独自算出の注目度）: 7.195738513912784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In an era marked by robust technological growth and swift information renewal, furnishing researchers and the populace with top-tier, avant-garde academic insights spanning various domains has become an urgent necessity. The KDD Cup 2024 AQA Challenge is geared towards advancing retrieval models to identify pertinent academic terminologies from suitable papers for scientific inquiries. This paper introduces the LLM-KnowSimFuser proposed by Robo Space, which wins the 2nd place in the competition. With inspirations drawed from the superior performance of LLMs on multiple tasks, after careful analysis of the provided datasets, we firstly perform fine-tuning and inference using LLM-enhanced pre-trained retrieval models to introduce the tremendous language understanding and open-domain knowledge of LLMs into this task, followed by a weighted fusion based on the similarity matrix derived from the inference results. Finally, experiments conducted on the competition datasets show the superiority of our proposal, which achieved a score of 0.20726 on the final leaderboard.
- Abstract（参考訳）: 堅牢な技術的成長と迅速な情報更新を特徴とする時代には、研究者や大衆に様々な領域にまたがる先進的な学問的洞察を最上位層で与えることが急務となっている。
KDDカップ2024 AQAチャレンジは、科学調査に適した論文から関連する学術用語を識別する検索モデルの改善を目的としている。
本稿では,Robo Space が提案した LLM-KnowSimFuser について紹介する。
複数のタスクにおけるLLMの優れた性能からインスピレーションを得て、提案したデータセットを慎重に分析した後、まずLLM強化事前学習検索モデルを用いて微調整と推論を行い、このタスクにLLMの膨大な言語理解とオープンドメイン知識を導入し、続いて推論結果から得られた類似性行列に基づく重み付き融合を行う。
最後に,コンペティションデータセットを用いて行った実験から,最終リーダーボードで0.20726のスコアを得た提案の優位性を示した。
関連論文リスト
- From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。
CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。
本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
論文 参考訳（メタデータ） (2024-09-19T02:51:54Z) - DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System [83.34921966305804]
大規模言語モデル (LLM) はレコメンデーションシステムにおいて顕著な性能を示した。
LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。
我々の手法は既存の最先端アルゴリズムよりも優れている。
論文 参考訳（メタデータ） (2024-08-15T15:56:23Z) - A Survey on Efficient Inference for Large Language Models [25.572035747669275]
大きな言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスのために、広く注目を集めている。
LLM推論のかなりの計算とメモリ要件は、リソース制約のあるシナリオへの展開に困難をもたらす。
本稿では,LLMの効率的な推論について,既存の文献を包括的に調査する。
論文 参考訳（メタデータ） (2024-04-22T15:53:08Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - Bridging Causal Discovery and Large Language Models: A Comprehensive
Survey of Integrative Approaches and Future Directions [10.226735765284852]
因果発見(CD)とLarge Language Models(LLM)は、人工知能に重要な意味を持つ2つの新しい研究分野を表す。
本稿では,CDタスクへのLPM(GPT4など)の統合に関する総合的な調査を行う。
論文 参考訳（メタデータ） (2024-02-16T20:48:53Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳（メタデータ） (2024-02-09T05:37:09Z) - An Enhanced Prompt-Based LLM Reasoning Scheme via Knowledge Graph-Integrated Collaboration [7.3636034708923255]
本研究では,知識グラフ(KG)と大規模言語モデル(LLM)の緊密な協調を含む協調学習自由推論手法を提案する。
このような協調的な手法により、より信頼性の高い知識に基づく推論を実現し、推論結果の追跡を容易にする。
論文 参考訳（メタデータ） (2024-02-07T15:56:17Z) - A Comprehensive Overview of Large Language Models [68.22178313875618]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。
本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文 参考訳（メタデータ） (2023-07-12T20:01:52Z) - A Survey on Large Language Models for Recommendation [77.91673633328148]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。
本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文 参考訳（メタデータ） (2023-05-31T13:51:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。