Fugu-MT 論文翻訳(概要): Advancing Academic Knowledge Retrieval via LLM-enhanced Representation Similarity Fusion

論文の概要: Advancing Academic Knowledge Retrieval via LLM-enhanced Representation Similarity Fusion

arxiv url: http://arxiv.org/abs/2410.10455v1
Date: Mon, 14 Oct 2024 12:49:13 GMT
ステータス: 処理完了
システム内更新日: 2024-10-29 21:34:52.227890
Title: Advancing Academic Knowledge Retrieval via LLM-enhanced Representation Similarity Fusion
Title（参考訳）: LLM強調表現類似性融合による学術知識検索の促進
Authors: Wei Dai, Peng Fu, Chunjing Gan,
Abstract要約: 本稿では,KDDカップ2024チャレンジで2位を獲得したRobo Spaceが提案したLDM-KnowSimFuserを紹介する。複数のタスクにおけるLLMの優れた性能からインスピレーションを得て、まずLLM強化事前学習検索モデルを用いて微調整と推論を行う。コンペティションデータセットで行った実験は、最終リーダーボードで0.20726のスコアを得た提案の優位性を示している。
参考スコア（独自算出の注目度）: 7.195738513912784
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In an era marked by robust technological growth and swift information renewal, furnishing researchers and the populace with top-tier, avant-garde academic insights spanning various domains has become an urgent necessity. The KDD Cup 2024 AQA Challenge is geared towards advancing retrieval models to identify pertinent academic terminologies from suitable papers for scientific inquiries. This paper introduces the LLM-KnowSimFuser proposed by Robo Space, which wins the 2nd place in the competition. With inspirations drawed from the superior performance of LLMs on multiple tasks, after careful analysis of the provided datasets, we firstly perform fine-tuning and inference using LLM-enhanced pre-trained retrieval models to introduce the tremendous language understanding and open-domain knowledge of LLMs into this task, followed by a weighted fusion based on the similarity matrix derived from the inference results. Finally, experiments conducted on the competition datasets show the superiority of our proposal, which achieved a score of 0.20726 on the final leaderboard.
Abstract（参考訳）: 堅牢な技術的成長と迅速な情報更新を特徴とする時代には、研究者や大衆に様々な領域にまたがる先進的な学問的洞察を最上位層で与えることが急務となっている。 KDDカップ2024 AQAチャレンジは、科学調査に適した論文から関連する学術用語を識別する検索モデルの改善を目的としている。本稿では,Robo Space が提案した LLM-KnowSimFuser について紹介する。複数のタスクにおけるLLMの優れた性能からインスピレーションを得て、提案したデータセットを慎重に分析した後、まずLLM強化事前学習検索モデルを用いて微調整と推論を行い、このタスクにLLMの膨大な言語理解とオープンドメイン知識を導入し、続いて推論結果から得られた類似性行列に基づく重み付き融合を行う。最後に,コンペティションデータセットを用いて行った実験から,最終リーダーボードで0.20726のスコアを得た提案の優位性を示した。

関連論文リスト

From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
論文参考訳（メタデータ） (2025-02-17T12:58:17Z)
Evaluating the Performance of Large Language Models in Scientific Claim Detection and Classification [0.0]
本研究では,Twitterのようなプラットフォーム上での誤情報を緩和する革新的な手法として,LLM(Large Language Models)の有効性を評価する。 LLMは、従来の機械学習モデルに関連する広範なトレーニングと過度に適合する問題を回避し、事前訓練された適応可能なアプローチを提供する。特定データセットを用いたLCMの性能の比較分析を行い、公衆衛生コミュニケーションへの応用のためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-12-21T05:02:26Z)
The Evolution of LLM Adoption in Industry Data Curation Practices [20.143297690624298]
本稿では,大規模技術企業における実践者間の言語モデル(LLM)の進化について考察する。一連の調査、インタビュー、ユーザスタディを通じて、LLMの進化において組織がどのように重要な瞬間をナビゲートしているか、タイムリーなスナップショットを提供しています。
論文参考訳（メタデータ） (2024-12-20T17:34:16Z)
Dynamic Ensemble Reasoning for LLM Experts [35.774197263383996]
本研究では,動的入力を前提とした複数のLLMエキスパートの強みを統合するために,DERと呼ばれる動的アンサンブル推論パラダイムを提案する。提案手法では,最先端のベースラインに比べて計算資源が少ないため,性能が向上する。
論文参考訳（メタデータ） (2024-12-10T12:05:56Z)
From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
論文参考訳（メタデータ） (2024-09-19T02:51:54Z)
A Survey on Efficient Inference for Large Language Models [25.572035747669275]
大きな言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスのために、広く注目を集めている。 LLM推論のかなりの計算とメモリ要件は、リソース制約のあるシナリオへの展開に困難をもたらす。本稿では,LLMの効率的な推論について,既存の文献を包括的に調査する。
論文参考訳（メタデータ） (2024-04-22T15:53:08Z)
LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文参考訳（メタデータ） (2024-02-26T07:33:05Z)
Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文参考訳（メタデータ） (2024-02-09T05:37:09Z)
An Enhanced Prompt-Based LLM Reasoning Scheme via Knowledge Graph-Integrated Collaboration [7.3636034708923255]
本研究では,知識グラフ(KG)と大規模言語モデル(LLM)の緊密な協調を含む協調学習自由推論手法を提案する。このような協調的な手法により、より信頼性の高い知識に基づく推論を実現し、推論結果の追跡を容易にする。
論文参考訳（メタデータ） (2024-02-07T15:56:17Z)
A Comprehensive Overview of Large Language Models [68.22178313875618]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文参考訳（メタデータ） (2023-07-12T20:01:52Z)
A Survey on Large Language Models for Recommendation [77.91673633328148]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文参考訳（メタデータ） (2023-05-31T13:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。