Fugu-MT 論文翻訳(概要): Assessing Open-Source Large Language Models on Argumentation Mining Subtasks

論文の概要: Assessing Open-Source Large Language Models on Argumentation Mining Subtasks

arxiv url: http://arxiv.org/abs/2411.05639v1
Date: Fri, 08 Nov 2024 15:34:08 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-11 14:54:42.147810
Title: Assessing Open-Source Large Language Models on Argumentation Mining Subtasks
Title（参考訳）: Argumentation Mining Subtasksにおけるオープンソースの大規模言語モデルの評価
Authors: Mohammad Yeghaneh Abkenar, Weixing Wang, Hendrik Graupner, Manfred Stede,
Abstract要約: 我々は, 議論的エッセイ(PE), 議論的マイクロテキスト(AMT) 第1部と第2部を, (i) 議論的談話単位分類(ADUC) と (ii) 議論的関係分類(ARC) という2つの議論的マイニングサブタスクに基づいて実験を行った。この研究は、Mistral 7B、Mixtral 8x7B、LlamA2 7B、LlamA3 8Bを含むオープンソースのLLMの議論能力を評価することを目的としている。
参考スコア（独自算出の注目度）: 3.5889742366232777
License:
Abstract: We explore the capability of four open-sourcelarge language models (LLMs) in argumentation mining (AM). We conduct experiments on three different corpora; persuasive essays(PE), argumentative microtexts (AMT) Part 1 and Part 2, based on two argumentation mining sub-tasks: (i) argumentative discourse units classifications (ADUC), and (ii) argumentative relation classification (ARC). This work aims to assess the argumentation capability of open-source LLMs, including Mistral 7B, Mixtral8x7B, LlamA2 7B and LlamA3 8B in both, zero-shot and few-shot scenarios. Our analysis contributes to further assessing computational argumentation with open-source LLMs in future research efforts.
Abstract（参考訳）: 議論マイニング(AM)における4つのオープンソース言語モデル(LLM)の能力について検討する。我々は3つの異なるコーパスについて実験を行う: 説得エッセイ(PE)、議論的マイクロテキスト(AMT)、パート1、パート2は2つの議論的マイニングサブタスクに基づく。一議論的談話単位分類(ADUC)及び (ii)議論関係分類(ARC) この研究は、Mistral 7B、Mixtral 8x7B、LlamA2 7B、LlamA3 8Bを含むオープンソースのLLMの議論能力を評価することを目的としている。我々の分析は,今後の研究におけるオープンソースのLLMによる計算論証のさらなる評価に寄与する。

関連論文リスト

Persuasiveness of Generated Free-Text Rationales in Subjective Decisions: A Case Study on Pairwise Argument Ranking [4.1017420444369215]
主観的回答を伴うタスクにおいて生成した自由文論理を解析する。我々は、現実世界のアプリケーションにとって大きな可能性を持つ、非常に主観的なタスクであるペアワイズ引数ランキングに焦点を当てる。以上の結果から,Llama2-70B-chat のオープンソース LLM は高い説得力のある合理化を実現できることが示唆された。
論文参考訳（メタデータ） (2024-06-20T00:28:33Z)
TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。本手法は,様々なベンチマーク上での局所モデル性能を向上させる。また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
論文参考訳（メタデータ） (2024-03-15T14:36:38Z)
Can Large Language Models perform Relation-based Argument Mining? [15.362683263839772]
引数マイニング(Argument mining、AM)は、テキストから引数、それらのコンポーネント、および/またはコンポーネント間の関係を自動的に抽出するプロセスである。関係ベースAM(Relation-based AM、RbAM)は、議論における合意(サポート)と不一致(アタック)の関係の特定に焦点を当てたAMの一形態である。汎用大規模言語モデル (LLM) は, 適切な素数化, 誘導によって, 最高の性能(RoBERTaベース) のベースラインを大幅に上回ることを示す。
論文参考訳（メタデータ） (2024-02-17T10:37:51Z)
NoMIRACL: Knowing When You Don't Know for Robust Multilingual Retrieval-Augmented Generation [92.5132418788568]
Retrieval-augmented Generation (RAG) は、外部の知識ソースを活用して、事実の幻覚を減らすことで、大きな言語モデル(LLM)を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 1) 幻覚率, 解答の幻覚傾向, 解答が非関連部分集合の通路に存在しない場合, および(ii) 誤差率, モデル不正確さを測定し, 関連する部分集合の通路を認識する。
論文参考訳（メタデータ） (2023-12-18T17:18:04Z)
Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large Language Models [56.256069117502385]
Chain of Thought (CoT)アプローチは、複雑な推論タスクにおいて、LLM(Large Language Models)の能力を高めるために使用できる。しかし、マルチモーダル推論における最適なCoT実例の選択は、まだ検討されていない。本稿では,この課題に対処する新しい手法として,検索機構を用いて実演例を自動的に選択する手法を提案する。
論文参考訳（メタデータ） (2023-12-04T08:07:21Z)
Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
論文参考訳（メタデータ） (2023-11-15T15:12:15Z)
Which is better? Exploring Prompting Strategy For LLM-based Metrics [6.681126871165601]
本稿では,DSBA が提案する Prompting Large Language Models を Explainable Metrics 共有タスクとして記述する。 BLEUやROUGEのような従来の類似性に基づくメトリクスは、人間の評価に悪影響を与えており、オープンな生成タスクには適していない。
論文参考訳（メタデータ） (2023-11-07T06:36:39Z)
Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文参考訳（メタデータ） (2023-09-07T01:35:24Z)
Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
論文参考訳（メタデータ） (2023-05-23T06:13:10Z)
Can Unsupervised Knowledge Transfer from Social Discussions Help Argument Mining? [25.43442712037725]
本稿では,教師なし,議論型対話型知識の課題を克服するために,新しい伝達学習戦略を提案する。本研究では,ChangeMyViewのサブレディットからの議論に富んだ社会的な議論を,教師なしの議論型知識の源泉として活用する。本稿では,提案手法を補完する,コンポーネント間関係予測のための新しいプロンプトベースの戦略を提案する。
論文参考訳（メタデータ） (2022-03-24T06:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。