論文の概要: Effective Context Selection in LLM-based Leaderboard Generation: An Empirical Study

• arxiv url: http://arxiv.org/abs/2407.02409v1
• Date: Thu, 6 Jun 2024 06:05:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-07 13:24:39.559849
• Title: Effective Context Selection in LLM-based Leaderboard Generation: An Empirical Study
• Title（参考訳）: LLMを用いたリーダボード生成における効果的なコンテキスト選択--実証的研究
• Authors: Salomon Kabongo, Jennifer D'Souza, Sören Auer,
• Abstract要約: 本稿では,Large Language Models (LLMs) のAI研究リーダーボード生成における文脈選択の影響について検討する。 本研究では, 従来の自然言語推論(NLI)手法を超越して, 事前に定義された分類法を使わずに新しい開発に適応する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.3072340427031969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores the impact of context selection on the efficiency of Large Language Models (LLMs) in generating Artificial Intelligence (AI) research leaderboards, a task defined as the extraction of (Task, Dataset, Metric, Score) quadruples from scholarly articles. By framing this challenge as a text generation objective and employing instruction finetuning with the FLAN-T5 collection, we introduce a novel method that surpasses traditional Natural Language Inference (NLI) approaches in adapting to new developments without a predefined taxonomy. Through experimentation with three distinct context types of varying selectivity and length, our study demonstrates the importance of effective context selection in enhancing LLM accuracy and reducing hallucinations, providing a new pathway for the reliable and efficient generation of AI leaderboards. This contribution not only advances the state of the art in leaderboard generation but also sheds light on strategies to mitigate common challenges in LLM-based information extraction.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) が人工知能(AI)研究リーダーボード(Task, Dataset, Metric, Score)の抽出作業における効率に与える影響について検討する。 本稿では,この課題をテキスト生成の目標として定義し,FLAN-T5コレクションを微調整する手法を導入することにより,従来の自然言語推論(NLI)アプローチを超越して,事前に定義された分類法を使わずに新たな開発に適応する手法を提案する。 そこで本研究では,LLMの精度向上と幻覚の低減に有効なコンテキスト選択が重要であることを示すとともに,AIリーダボードの信頼性と効率性向上のための新たな経路を提供する。 この貢献は、リーダーボード生成の最先端だけでなく、LCMベースの情報抽出における共通の課題を軽減するための戦略にも光を当てている。

関連論文リスト

• Refining Sentence Embedding Model through Ranking Sentences Generation with Large Language Models [60.00178316095646]
  多くのNLPタスクには文の埋め込みが不可欠であり、NLIのようなデータセットを使用して強いパフォーマンスを達成する対照的な学習方法がある。 近年の研究では、大きな言語モデル(LLM)を利用して文ペアを生成し、アノテーション依存を減らしている。 本稿では,潜在空間におけるLLMの生成方向を制御する手法を提案する。 複数のベンチマークによる実験により,本手法は文合成に要するコストを最小限に抑えつつ,新たなSOTA性能を実現することを示した。
  論文  参考訳（メタデータ） (2025-02-19T12:07:53Z)
• From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
  大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。 本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
  論文  参考訳（メタデータ） (2025-02-17T12:58:17Z)
• When Text Embedding Meets Large Language Model: A Comprehensive Survey [17.263184207651072]
  テキスト埋め込みは、ディープラーニング時代に自然言語処理(NLP)の基礎技術となった。 大規模言語モデル(LLM)と3つの主題に埋め込まれたテキストの相互作用を分類する。 我々は,LLM 以前の言語モデル (PLM) を用いて,LLM 以前の未解決課題を強調し,LLM がもたらした新たな障害を探求する。
  論文  参考訳（メタデータ） (2024-12-12T10:50:26Z)
• Scaling Up Summarization: Leveraging Large Language Models for Long Text Extractive Summarization [0.27624021966289597]
  本稿では,Large Language Models (LLM) を利用した抽出要約フレームワークであるEYEGLAXSを紹介する。 EYEGLAXSは、事実的および文法的整合性を保証するために抽出的な要約に焦点を当てている。 このシステムはPubMedやArXivといった有名なデータセットに新しいパフォーマンスベンチマークを設定する。
  論文  参考訳（メタデータ） (2024-08-28T13:52:19Z)
• Instruction Finetuning for Leaderboard Generation from Empirical AI Research [0.16114012813668935]
  本研究では,Large Language Models (LLMs) の命令微調整によるAI研究リーダボード生成の自動化を実証する。 それは、従来の手動のコミュニティキュレーションから移行することで、AI研究の進歩の広めを合理化することを目的としている。
  論文  参考訳（メタデータ） (2024-08-19T16:41:07Z)
• Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
  大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。 本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。 我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
  論文  参考訳（メタデータ） (2024-07-04T16:41:08Z)
• TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
  本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。 本手法は,様々なベンチマーク上での局所モデル性能を向上させる。 また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2024-03-15T14:36:38Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• Reranking for Natural Language Generation from Logical Forms: A Study based on Large Language Models [47.08364281023261]
  大規模言語モデル(LLM)は、自然言語生成において印象的な能力を示している。 しかし、それらの出力品質は矛盾する可能性があり、論理形式(LF)から自然言語を生成する上での課題を提起する。
  論文  参考訳（メタデータ） (2023-09-21T17:54:58Z)
• Active Learning for Natural Language Generation [17.14395724301382]
  本稿では,自然言語生成のための能動的学習に関する最初の体系的研究について述べる。 以上の結果から,既存のAL戦略は不整合であることが示唆された。 分類と生成シナリオの顕著な違いを強調し,既存のAL戦略の選択行動を分析する。
  論文  参考訳（メタデータ） (2023-05-24T11:27:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。