Fugu-MT 論文翻訳(概要): LLM-Powered Ensemble Learning for Paper Source Tracing: A GPU-Free Approach

論文の概要: LLM-Powered Ensemble Learning for Paper Source Tracing: A GPU-Free Approach

arxiv url: http://arxiv.org/abs/2409.09383v2
Date: Tue, 17 Sep 2024 01:35:25 GMT
ステータス: 処理完了
システム内更新日: 2024-09-18 11:25:49.156178
Title: LLM-Powered Ensemble Learning for Paper Source Tracing: A GPU-Free Approach
Title（参考訳）: 紙ソーストレースのためのLLMを用いたアンサンブル学習:GPUフリーアプローチ
Authors: Kunlong Chen, Junjun Wang, Zhaoqun Chen, Kunjin Chen, Yitian Chen,
Abstract要約: 我々は,KDD CUP 2024紙ソース追跡コンテストに参加し,第3位を獲得した。このコンペティションは参加者に対して、与えられた学術論文の参考資料(ref-sources)を特定するよう指示した。トレーニング済みのニューラルネットワークモデルを微調整することでこの問題に対処しているほとんどのチームとは異なり、私たちの主要なアプローチはクローズドソースの大規模言語モデルを使用していました。
参考スコア（独自算出の注目度）: 1.4483636003888063
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We participated in the KDD CUP 2024 paper source tracing competition and achieved the 3rd place. This competition tasked participants with identifying the reference sources (i.e., ref-sources, as referred to by the organizers of the competition) of given academic papers. Unlike most teams that addressed this challenge by fine-tuning pre-trained neural language models such as BERT or ChatGLM, our primary approach utilized closed-source large language models (LLMs). With recent advancements in LLM technology, closed-source LLMs have demonstrated the capability to tackle complex reasoning tasks in zero-shot or few-shot scenarios. Consequently, in the absence of GPUs, we employed closed-source LLMs to directly generate predicted reference sources from the provided papers. We further refined these predictions through ensemble learning. Notably, our method was the only one among the award-winning approaches that did not require the use of GPUs for model training. Code available at https://github.com/Cklwanfifa/KDDCUP2024-PST.
Abstract（参考訳）: 我々は,KDD CUP 2024紙ソース追跡コンテストに参加し,第3位を獲得した。このコンペティションは参加者に対して、与えられた学術論文の基準資料(すなわち、コンペティションの主催者によって言及されるref-sources)を特定するよう指示した。 BERTやChatGLMといったトレーニング済みのニューラルネットワークモデルを微調整することで、この問題に対処しているほとんどのチームとは異なり、私たちの主要なアプローチは、クローズドソースの大規模言語モデル(LLM)を使用していました。近年のLLM技術の進歩により、ゼロショットや少数ショットのシナリオで複雑な推論タスクに対処できることが、クローズドソースのLLMで実証されている。その結果,GPUの欠如により,提案した論文から予測された参照ソースを直接生成するために,クローズドソースLLMを用いた。私たちはさらに、アンサンブル学習を通じてこれらの予測を洗練しました。特に,モデルトレーニングにGPUを使わなくても,受賞したアプローチの中では,本手法が唯一であった。コードはhttps://github.com/Cklwanfifa/KDDCUP2024-PSTで公開されている。

関連論文リスト

Best Practices for Distilling Large Language Models into BERT for Web Search Ranking [14.550458167328497]
LLM(Large Language Models)は、潜在的文書のランク付けリストを生成する。 LLMのランキングの専門知識をBERTのようなよりコンパクトなモデルに移行し、ランキングの損失を利用して、リソース集約の少ないモデルのデプロイを可能にします。 2024年2月現在,我々のモデルは商用ウェブ検索エンジンに統合されている。
論文参考訳（メタデータ） (2024-11-07T08:54:46Z)
A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
著者の属性は、文書の起源または著者を特定することを目的としている。大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
論文参考訳（メタデータ） (2024-10-29T04:14:23Z)
Advancing Academic Knowledge Retrieval via LLM-enhanced Representation Similarity Fusion [7.195738513912784]
本稿では,KDDカップ2024チャレンジで2位を獲得したRobo Spaceが提案したLDM-KnowSimFuserを紹介する。複数のタスクにおけるLLMの優れた性能からインスピレーションを得て、まずLLM強化事前学習検索モデルを用いて微調整と推論を行う。コンペティションデータセットで行った実験は、最終リーダーボードで0.20726のスコアを得た提案の優位性を示している。
論文参考訳（メタデータ） (2024-10-14T12:49:13Z)
zsLLMCode: An Effective Approach for Functional Code Embedding via LLM with Zero-Shot Learning [6.976968804436321]
大型言語モデル(LLM)はゼロショット学習の能力を持ち、訓練や微調整を必要としない。 LLMを用いた関数型コード埋め込みを生成する新しいアプローチであるzsLLMCodeを提案する。
論文参考訳（メタデータ） (2024-09-23T01:03:15Z)
Leveraging Open-Source Large Language Models for Native Language Identification [1.6267479602370543]
ネイティブ言語識別(NLI)は、法医学、マーケティング、第二言語習得に応用されている。本研究では,オープンソース生成型大規模言語モデル(LLM)をNLIに適用する可能性について検討する。
論文参考訳（メタデータ） (2024-09-15T08:14:18Z)
MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series [86.31735321970481]
私たちはMAP-Neoをオープンソースにしました。これは、4.5Tの高品質トークン上で、スクラッチからトレーニングされた7Bパラメータを持つバイリンガル言語モデルです。 MAP-Neo は,既存の最先端 LLM と比較して性能が劣る初の完全オープンソースバイリンガル LLM である。
論文参考訳（メタデータ） (2024-05-29T17:57:16Z)
Training Language Models to Generate Text with Citations via Fine-grained Rewards [19.176465185343417]
大型言語モデル(LLM)は幻覚を起こす傾向があり、信頼できる情報源への参照が欠如しているため、その応答は信頼性に欠けることが多い。本研究では,LLMに高い支援力と関連性のある引用を生成するための,微粒な報酬を用いた効果的な学習フレームワークを提案する。 LLaMA-2-7Bでは、細粒度の報酬がGPT-3.5-turboを上回り、ベースラインの中で最高の性能を達成している。
論文参考訳（メタデータ） (2024-02-06T19:00:40Z)
Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
論文参考訳（メタデータ） (2024-01-04T18:59:49Z)
LLM360: Towards Fully Transparent Open-Source LLMs [89.05970416013403]
LLM360の目標は、すべての人がエンドツーエンドのトレーニングプロセスを透過的かつ再現可能にすることで、オープンで協力的なAI研究を支援することである。 LLM360の最初のステップとして、スクラッチから事前トレーニングされた2つの7BパラメータLSM、AmberとCrystalCoder、トレーニングコード、データ、中間チェックポイント、分析をリリースする。
論文参考訳（メタデータ） (2023-12-11T17:39:00Z)
Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
論文参考訳（メタデータ） (2023-10-04T20:27:20Z)
LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient Querying [71.86163159193327]
大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
論文参考訳（メタデータ） (2023-08-21T02:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。