論文の概要: LLM-Powered Ensemble Learning for Paper Source Tracing: A GPU-Free Approach
- arxiv url: http://arxiv.org/abs/2409.09383v1
- Date: Sat, 14 Sep 2024 09:21:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 20:57:09.136756
- Title: LLM-Powered Ensemble Learning for Paper Source Tracing: A GPU-Free Approach
- Title(参考訳): 紙ソーストレースのためのLLMを用いたアンサンブル学習:GPUフリーアプローチ
- Authors: Kunlong Chen, Junjun Wang, Zhaoqun Chen, Kunjin Chen, Yitian Chen,
- Abstract要約: 我々は,KDD CUP 2024紙ソース追跡コンテストに参加し,第3位を獲得した。
このコンペティションは参加者に対して、与えられた学術論文の参考資料(ref-sources)を特定するよう指示した。
トレーニング済みのニューラルネットワークモデルを微調整することでこの問題に対処しているほとんどのチームとは異なり、私たちの主要なアプローチはクローズドソースの大規模言語モデルを使用していました。
- 参考スコア(独自算出の注目度): 1.4483636003888063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We participated in the KDD CUP 2024 paper source tracing competition and achieved the 3rd place. This competition tasked participants with identifying the reference sources (i.e., ref-sources, as referred to by the organizers of the competition) of given academic papers. Unlike most teams that addressed this challenge by fine-tuning pre-trained neural language models such as BERT or ChatGLM, our primary approach utilized closed-source large language models (LLMs). With recent advancements in LLM technology, closed-source LLMs have demonstrated the capability to tackle complex reasoning tasks in zero-shot or few-shot scenarios. Consequently, in the absence of GPUs, we employed closed-source LLMs to directly generate predicted reference sources from the provided papers. We further refined these predictions through ensemble learning. Notably, our method was the only one among the award-winning approaches that did not require the use of GPUs for model training. Code available at https://github.com/Cklwanfifa/KDDCUP2024-PST.
- Abstract(参考訳): 我々は,KDD CUP 2024紙ソース追跡コンテストに参加し,第3位を獲得した。
このコンペティションは参加者に対して、与えられた学術論文の基準資料(すなわち、コンペティションの主催者によって言及されるref-sources)を特定するよう指示した。
BERTやChatGLMといったトレーニング済みのニューラルネットワークモデルを微調整することで、この問題に対処しているほとんどのチームとは異なり、私たちの主要なアプローチは、クローズドソースの大規模言語モデル(LLM)を使用していました。
近年のLLM技術の進歩により、ゼロショットや少数ショットのシナリオで複雑な推論タスクに対処できることが、クローズドソースのLLMで実証されている。
その結果,GPUの欠如により,提案した論文から予測された参照ソースを直接生成するために,クローズドソースLLMを用いた。
私たちはさらに、アンサンブル学習を通じてこれらの予測を洗練しました。
特に,モデルトレーニングにGPUを使わなくても,受賞したアプローチの中では,本手法が唯一であった。
コードはhttps://github.com/Cklwanfifa/KDDCUP2024-PSTで公開されている。
関連論文リスト
- Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
大規模言語モデル(LLM)は、ユーザや他のソースからの入力を処理したり、タスクを編成したりするための検索拡張されたアプリケーションで日常的に使用される。
これにより、LDMがデータのみのソースからの命令を受け取り、作用するインジェクション攻撃を誘導する扉が開き、ユーザーの元の命令から逸脱する。
我々はこれをタスクドリフトと定義し、LCMのアクティベーションをスキャンして解析することでこれをキャッチすることを提案する。
このアプローチは、これらの攻撃に対してトレーニングを受けることなく、インジェクションやジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化することを示す。
論文 参考訳(メタデータ) (2024-06-02T16:53:21Z) - MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series [86.31735321970481]
私たちはMAP-Neoをオープンソースにしました。これは、4.5Tの高品質トークン上で、スクラッチからトレーニングされた7Bパラメータを持つバイリンガル言語モデルです。
MAP-Neo は,既存の最先端 LLM と比較して性能が劣る初の完全オープンソースバイリンガル LLM である。
論文 参考訳(メタデータ) (2024-05-29T17:57:16Z) - Training Language Models to Generate Text with Citations via Fine-grained Rewards [19.176465185343417]
大型言語モデル(LLM)は幻覚を起こす傾向があり、信頼できる情報源への参照が欠如しているため、その応答は信頼性に欠けることが多い。
本研究では,LLMに高い支援力と関連性のある引用を生成するための,微粒な報酬を用いた効果的な学習フレームワークを提案する。
LLaMA-2-7Bでは、細粒度の報酬がGPT-3.5-turboを上回り、ベースラインの中で最高の性能を達成している。
論文 参考訳(メタデータ) (2024-02-06T19:00:40Z) - ReSLLM: Large Language Models are Strong Resource Selectors for
Federated Search [35.44746116088232]
フェデレーション検索は、Retrieval-Augmented Generationパイプラインのコンテキストにおいて、ますます重要になる。
現在のSOTA資源選択手法は特徴に基づく学習手法に依存している。
ゼロショット環境でのフェデレーション検索における資源選択を促進するために,ReSLLMを提案する。
論文 参考訳(メタデータ) (2024-01-31T07:58:54Z) - Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。
別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。
そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
論文 参考訳(メタデータ) (2024-01-04T18:59:49Z) - LLM360: Towards Fully Transparent Open-Source LLMs [89.05970416013403]
LLM360の目標は、すべての人がエンドツーエンドのトレーニングプロセスを透過的かつ再現可能にすることで、オープンで協力的なAI研究を支援することである。
LLM360の最初のステップとして、スクラッチから事前トレーニングされた2つの7BパラメータLSM、AmberとCrystalCoder、トレーニングコード、データ、中間チェックポイント、分析をリリースする。
論文 参考訳(メタデータ) (2023-12-11T17:39:00Z) - Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。
マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
論文 参考訳(メタデータ) (2023-10-04T20:27:20Z) - LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient
Querying [71.86163159193327]
大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。
この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。
第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
論文 参考訳(メタデータ) (2023-08-21T02:07:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。