論文の概要: Effective Context Selection in LLM-based Leaderboard Generation: An Empirical Study

• arxiv url: http://arxiv.org/abs/2407.02409v1
• Date: Thu, 6 Jun 2024 06:05:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-07 13:24:39.559849
• Title: Effective Context Selection in LLM-based Leaderboard Generation: An Empirical Study
• Title（参考訳）: LLMを用いたリーダボード生成における効果的なコンテキスト選択--実証的研究
• Authors: Salomon Kabongo, Jennifer D'Souza, Sören Auer,
• Abstract要約: 本稿では,Large Language Models (LLMs) のAI研究リーダーボード生成における文脈選択の影響について検討する。 本研究では, 従来の自然言語推論(NLI)手法を超越して, 事前に定義された分類法を使わずに新しい開発に適応する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.3072340427031969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores the impact of context selection on the efficiency of Large Language Models (LLMs) in generating Artificial Intelligence (AI) research leaderboards, a task defined as the extraction of (Task, Dataset, Metric, Score) quadruples from scholarly articles. By framing this challenge as a text generation objective and employing instruction finetuning with the FLAN-T5 collection, we introduce a novel method that surpasses traditional Natural Language Inference (NLI) approaches in adapting to new developments without a predefined taxonomy. Through experimentation with three distinct context types of varying selectivity and length, our study demonstrates the importance of effective context selection in enhancing LLM accuracy and reducing hallucinations, providing a new pathway for the reliable and efficient generation of AI leaderboards. This contribution not only advances the state of the art in leaderboard generation but also sheds light on strategies to mitigate common challenges in LLM-based information extraction.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) が人工知能(AI)研究リーダーボード(Task, Dataset, Metric, Score)の抽出作業における効率に与える影響について検討する。 本稿では,この課題をテキスト生成の目標として定義し,FLAN-T5コレクションを微調整する手法を導入することにより,従来の自然言語推論(NLI)アプローチを超越して,事前に定義された分類法を使わずに新たな開発に適応する手法を提案する。 そこで本研究では,LLMの精度向上と幻覚の低減に有効なコンテキスト選択が重要であることを示すとともに,AIリーダボードの信頼性と効率性向上のための新たな経路を提供する。 この貢献は、リーダーボード生成の最先端だけでなく、LCMベースの情報抽出における共通の課題を軽減するための戦略にも光を当てている。

関連論文リスト

• Scaling Up Summarization: Leveraging Large Language Models for Long Text Extractive Summarization [0.27624021966289597]
  本稿では,Large Language Models (LLM) を利用した抽出要約フレームワークであるEYEGLAXSを紹介する。 EYEGLAXSは、事実的および文法的整合性を保証するために抽出的な要約に焦点を当てている。 このシステムはPubMedやArXivといった有名なデータセットに新しいパフォーマンスベンチマークを設定する。
  論文  参考訳（メタデータ） (2024-08-28T13:52:19Z)
• Exploring Large Language Models for Feature Selection: A Data-centric Perspective [17.99621520553622]
  大規模言語モデル(LLM)は様々なドメインに影響を与え、例外的な少数ショットとゼロショットの学習機能を活用している。 我々は,データ中心の観点からLLMに基づく特徴選択手法を探求し,理解することを目指している。 本研究は,テキストベースの特徴選択手法の有効性とロバスト性を強調し,実世界の医療応用を用いてその可能性を示す。
  論文  参考訳（メタデータ） (2024-08-21T22:35:19Z)
• Instruction Finetuning for Leaderboard Generation from Empirical AI Research [0.16114012813668935]
  本研究では,Large Language Models (LLMs) の命令微調整によるAI研究リーダボード生成の自動化を実証する。 それは、従来の手動のコミュニティキュレーションから移行することで、AI研究の進歩の広めを合理化することを目的としている。
  論文  参考訳（メタデータ） (2024-08-19T16:41:07Z)
• Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
  大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。 本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。 我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
  論文  参考訳（メタデータ） (2024-07-04T16:41:08Z)
• TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
  本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。 本手法は,様々なベンチマーク上での局所モデル性能を向上させる。 また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2024-03-15T14:36:38Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• Reranking for Natural Language Generation from Logical Forms: A Study based on Large Language Models [47.08364281023261]
  大規模言語モデル(LLM)は、自然言語生成において印象的な能力を示している。 しかし、それらの出力品質は矛盾する可能性があり、論理形式(LF)から自然言語を生成する上での課題を提起する。
  論文  参考訳（メタデータ） (2023-09-21T17:54:58Z)
• Active Learning for Natural Language Generation [17.14395724301382]
  本稿では,自然言語生成のための能動的学習に関する最初の体系的研究について述べる。 以上の結果から,既存のAL戦略は不整合であることが示唆された。 分類と生成シナリオの顕著な違いを強調し,既存のAL戦略の選択行動を分析する。
  論文  参考訳（メタデータ） (2023-05-24T11:27:53Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
  下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。 本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
  論文  参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。