論文の概要: Advancing Academic Knowledge Retrieval via LLM-enhanced Representation Similarity Fusion
- arxiv url: http://arxiv.org/abs/2410.10455v1
- Date: Mon, 14 Oct 2024 12:49:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 21:34:52.227890
- Title: Advancing Academic Knowledge Retrieval via LLM-enhanced Representation Similarity Fusion
- Title（参考訳）: LLM強調表現類似性融合による学術知識検索の促進
- Authors: Wei Dai, Peng Fu, Chunjing Gan,
- Abstract要約: 本稿では,KDDカップ2024チャレンジで2位を獲得したRobo Spaceが提案したLDM-KnowSimFuserを紹介する。
複数のタスクにおけるLLMの優れた性能からインスピレーションを得て、まずLLM強化事前学習検索モデルを用いて微調整と推論を行う。
コンペティションデータセットで行った実験は、最終リーダーボードで0.20726のスコアを得た提案の優位性を示している。
- 参考スコア（独自算出の注目度）: 7.195738513912784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In an era marked by robust technological growth and swift information renewal, furnishing researchers and the populace with top-tier, avant-garde academic insights spanning various domains has become an urgent necessity. The KDD Cup 2024 AQA Challenge is geared towards advancing retrieval models to identify pertinent academic terminologies from suitable papers for scientific inquiries. This paper introduces the LLM-KnowSimFuser proposed by Robo Space, which wins the 2nd place in the competition. With inspirations drawed from the superior performance of LLMs on multiple tasks, after careful analysis of the provided datasets, we firstly perform fine-tuning and inference using LLM-enhanced pre-trained retrieval models to introduce the tremendous language understanding and open-domain knowledge of LLMs into this task, followed by a weighted fusion based on the similarity matrix derived from the inference results. Finally, experiments conducted on the competition datasets show the superiority of our proposal, which achieved a score of 0.20726 on the final leaderboard.
- Abstract（参考訳）: 堅牢な技術的成長と迅速な情報更新を特徴とする時代には、研究者や大衆に様々な領域にまたがる先進的な学問的洞察を最上位層で与えることが急務となっている。
KDDカップ2024 AQAチャレンジは、科学調査に適した論文から関連する学術用語を識別する検索モデルの改善を目的としている。
本稿では,Robo Space が提案した LLM-KnowSimFuser について紹介する。
複数のタスクにおけるLLMの優れた性能からインスピレーションを得て、提案したデータセットを慎重に分析した後、まずLLM強化事前学習検索モデルを用いて微調整と推論を行い、このタスクにLLMの膨大な言語理解とオープンドメイン知識を導入し、続いて推論結果から得られた類似性行列に基づく重み付き融合を行う。
最後に,コンペティションデータセットを用いて行った実験から,最終リーダーボードで0.20726のスコアを得た提案の優位性を示した。
関連論文リスト
- How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。
メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
論文 参考訳（メタデータ） (2025-04-10T16:14:55Z) - A Survey on Federated Fine-tuning of Large Language Models [17.79395946441051]
Federated Learning(FL)は、データプライバシを確保しながら協調的なモデル適応を可能にする、有望なアプローチを提供する。
まず,Large Language Models (LLMs) とFLの両方の歴史的進化を,関連する事前調査を要約しながら追跡する。
次に、既存のパラメータ効率細調整法(PEFT)について広範な研究を行い、FLにおける適用可能性について検討する。
最後に、重要なオープン課題を特定し、今後のFedLLMの進歩を推進するための有望な研究方針を概説する。
論文 参考訳（メタデータ） (2025-03-15T06:52:10Z) - From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。
本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
論文 参考訳（メタデータ） (2025-02-17T12:58:17Z) - The Evolution of LLM Adoption in Industry Data Curation Practices [20.143297690624298]
本稿では,大規模技術企業における実践者間の言語モデル(LLM)の進化について考察する。
一連の調査、インタビュー、ユーザスタディを通じて、LLMの進化において組織がどのように重要な瞬間をナビゲートしているか、タイムリーなスナップショットを提供しています。
論文 参考訳（メタデータ） (2024-12-20T17:34:16Z) - Dynamic Ensemble Reasoning for LLM Experts [35.774197263383996]
本研究では,動的入力を前提とした複数のLLMエキスパートの強みを統合するために,DERと呼ばれる動的アンサンブル推論パラダイムを提案する。
提案手法では,最先端のベースラインに比べて計算資源が少ないため,性能が向上する。
論文 参考訳（メタデータ） (2024-12-10T12:05:56Z) - From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。
CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。
本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
論文 参考訳（メタデータ） (2024-09-19T02:51:54Z) - DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System [83.34921966305804]
大規模言語モデル (LLM) はレコメンデーションシステムにおいて顕著な性能を示した。
LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。
我々の手法は既存の最先端アルゴリズムよりも優れている。
論文 参考訳（メタデータ） (2024-08-15T15:56:23Z) - A Survey on Efficient Inference for Large Language Models [25.572035747669275]
大きな言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスのために、広く注目を集めている。
LLM推論のかなりの計算とメモリ要件は、リソース制約のあるシナリオへの展開に困難をもたらす。
本稿では,LLMの効率的な推論について,既存の文献を包括的に調査する。
論文 参考訳（メタデータ） (2024-04-22T15:53:08Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - Bridging Causal Discovery and Large Language Models: A Comprehensive
Survey of Integrative Approaches and Future Directions [10.226735765284852]
因果発見(CD)とLarge Language Models(LLM)は、人工知能に重要な意味を持つ2つの新しい研究分野を表す。
本稿では,CDタスクへのLPM(GPT4など)の統合に関する総合的な調査を行う。
論文 参考訳（メタデータ） (2024-02-16T20:48:53Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳（メタデータ） (2024-02-09T05:37:09Z) - An Enhanced Prompt-Based LLM Reasoning Scheme via Knowledge Graph-Integrated Collaboration [7.3636034708923255]
本研究では,知識グラフ(KG)と大規模言語モデル(LLM)の緊密な協調を含む協調学習自由推論手法を提案する。
このような協調的な手法により、より信頼性の高い知識に基づく推論を実現し、推論結果の追跡を容易にする。
論文 参考訳（メタデータ） (2024-02-07T15:56:17Z) - A Comprehensive Overview of Large Language Models [68.22178313875618]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。
本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文 参考訳（メタデータ） (2023-07-12T20:01:52Z) - A Survey on Large Language Models for Recommendation [77.91673633328148]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。
本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文 参考訳（メタデータ） (2023-05-31T13:51:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。