Fugu-MT 論文翻訳(概要): Assessing Open-Source Large Language Models on Argumentation Mining Subtasks

論文の概要: Assessing Open-Source Large Language Models on Argumentation Mining Subtasks

arxiv url: http://arxiv.org/abs/2411.05639v1
Date: Fri, 08 Nov 2024 15:34:08 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-11 14:54:42.147810
Title: Assessing Open-Source Large Language Models on Argumentation Mining Subtasks
Title（参考訳）: Argumentation Mining Subtasksにおけるオープンソースの大規模言語モデルの評価
Authors: Mohammad Yeghaneh Abkenar, Weixing Wang, Hendrik Graupner, Manfred Stede,
Abstract要約: 我々は, 議論的エッセイ(PE), 議論的マイクロテキスト(AMT) 第1部と第2部を, (i) 議論的談話単位分類(ADUC) と (ii) 議論的関係分類(ARC) という2つの議論的マイニングサブタスクに基づいて実験を行った。この研究は、Mistral 7B、Mixtral 8x7B、LlamA2 7B、LlamA3 8Bを含むオープンソースのLLMの議論能力を評価することを目的としている。
参考スコア（独自算出の注目度）: 3.5889742366232777
License:
Abstract: We explore the capability of four open-sourcelarge language models (LLMs) in argumentation mining (AM). We conduct experiments on three different corpora; persuasive essays(PE), argumentative microtexts (AMT) Part 1 and Part 2, based on two argumentation mining sub-tasks: (i) argumentative discourse units classifications (ADUC), and (ii) argumentative relation classification (ARC). This work aims to assess the argumentation capability of open-source LLMs, including Mistral 7B, Mixtral8x7B, LlamA2 7B and LlamA3 8B in both, zero-shot and few-shot scenarios. Our analysis contributes to further assessing computational argumentation with open-source LLMs in future research efforts.
Abstract（参考訳）: 議論マイニング(AM)における4つのオープンソース言語モデル(LLM)の能力について検討する。我々は3つの異なるコーパスについて実験を行う: 説得エッセイ(PE)、議論的マイクロテキスト(AMT)、パート1、パート2は2つの議論的マイニングサブタスクに基づく。一議論的談話単位分類(ADUC)及び (ii)議論関係分類(ARC) この研究は、Mistral 7B、Mixtral 8x7B、LlamA2 7B、LlamA3 8Bを含むオープンソースのLLMの議論能力を評価することを目的としている。我々の分析は,今後の研究におけるオープンソースのLLMによる計算論証のさらなる評価に寄与する。

関連論文リスト

Leveraging Small LLMs for Argument Mining in Education: Argument Component Identification, Classification, and Assessment [7.673465837624366]
本稿では,オープンソースの小型大言語モデル(LLM)を,数発のプロンプトと微調整による議論マイニングに活用することを提案する。我々は,学生エッセイを議論に分割し,タイプ別に議論を分類し,その質を評価する3つの課題を遂行する。我々は,小学校6-12年の学生エッセイのフィードバック賞 - 効果的なアグメンツデータセットのモデルを実証的に評価した。
論文参考訳（メタデータ） (2025-02-20T09:23:40Z)
Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
論文参考訳（メタデータ） (2025-02-04T17:26:58Z)
What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis [81.15503859645149]
本稿では,大規模言語モデルの推論性能に及ぼす文脈内実演の影響を理論的に解析することを目的とする。本稿では, LMS3 という, 単純で一般化可能な, 低複雑さな実演選択法を提案する。
論文参考訳（メタデータ） (2024-12-11T11:38:11Z)
Persuasiveness of Generated Free-Text Rationales in Subjective Decisions: A Case Study on Pairwise Argument Ranking [4.1017420444369215]
主観的回答を伴うタスクにおいて生成した自由文論理を解析する。我々は、現実世界のアプリケーションにとって大きな可能性を持つ、非常に主観的なタスクであるペアワイズ引数ランキングに焦点を当てる。以上の結果から,Llama2-70B-chat のオープンソース LLM は高い説得力のある合理化を実現できることが示唆された。
論文参考訳（メタデータ） (2024-06-20T00:28:33Z)
Can Large Language Models perform Relation-based Argument Mining? [15.362683263839772]
引数マイニング(Argument mining、AM)は、テキストから引数、それらのコンポーネント、および/またはコンポーネント間の関係を自動的に抽出するプロセスである。関係ベースAM(Relation-based AM、RbAM)は、議論における合意(サポート)と不一致(アタック)の関係の特定に焦点を当てたAMの一形態である。汎用大規模言語モデル (LLM) は, 適切な素数化, 誘導によって, 最高の性能(RoBERTaベース) のベースラインを大幅に上回ることを示す。
論文参考訳（メタデータ） (2024-02-17T10:37:51Z)
Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large Language Models [56.256069117502385]
Chain of Thought (CoT)アプローチは、複雑な推論タスクにおいて、LLM(Large Language Models)の能力を高めるために使用できる。しかし、マルチモーダル推論における最適なCoT実例の選択は、まだ検討されていない。本稿では,この課題に対処する新しい手法として,検索機構を用いて実演例を自動的に選択する手法を提案する。
論文参考訳（メタデータ） (2023-12-04T08:07:21Z)
Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
論文参考訳（メタデータ） (2023-11-15T15:12:15Z)
Which is better? Exploring Prompting Strategy For LLM-based Metrics [6.681126871165601]
本稿では,DSBA が提案する Prompting Large Language Models を Explainable Metrics 共有タスクとして記述する。 BLEUやROUGEのような従来の類似性に基づくメトリクスは、人間の評価に悪影響を与えており、オープンな生成タスクには適していない。
論文参考訳（メタデータ） (2023-11-07T06:36:39Z)
Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文参考訳（メタデータ） (2023-09-07T01:35:24Z)
Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
論文参考訳（メタデータ） (2023-05-23T06:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。