論文の概要: ArgInstruct: Specialized Instruction Fine-Tuning for Computational Argumentation

• arxiv url: http://arxiv.org/abs/2505.22076v1
• Date: Wed, 28 May 2025 07:58:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.477878
• Title: ArgInstruct: Specialized Instruction Fine-Tuning for Computational Argumentation
• Title（参考訳）: Arg命令:計算代行のための特別指導細調整
• Authors: Maja Stahl, Timon Ziegenbein, Joonsuk Park, Henning Wachsmuth,
• Abstract要約: 命令に従うための大規模言語モデル(LLM)のトレーニングは、目に見えないタスクに対処する能力を大幅に強化した。 本研究は、計算議論領域(CA)のための特殊命令微調整を導入する。
• 参考スコア（独自算出の注目度）: 19.62172300566201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training large language models (LLMs) to follow instructions has significantly enhanced their ability to tackle unseen tasks. However, despite their strong generalization capabilities, instruction-following LLMs encounter difficulties when dealing with tasks that require domain knowledge. This work introduces a specialized instruction fine-tuning for the domain of computational argumentation (CA). The goal is to enable an LLM to effectively tackle any unseen CA tasks while preserving its generalization capabilities. Reviewing existing CA research, we crafted natural language instructions for 105 CA tasks to this end. On this basis, we developed a CA-specific benchmark for LLMs that allows for a comprehensive evaluation of LLMs' capabilities in solving various CA tasks. We synthesized 52k CA-related instructions, adapting the self-instruct process to train a CA-specialized instruction-following LLM. Our experiments suggest that CA-specialized instruction fine-tuning significantly enhances the LLM on both seen and unseen CA tasks. At the same time, performance on the general NLP tasks of the SuperNI benchmark remains stable.
• Abstract（参考訳）: 命令に従うための大規模言語モデル(LLM)のトレーニングは、目に見えないタスクに対処する能力を大幅に強化した。 しかし、その強力な一般化能力にもかかわらず、命令追従 LLM はドメイン知識を必要とするタスクを扱う際に困難に直面する。 本研究は、計算議論領域(CA)の特殊命令微調整を導入する。 目標は、LCMがその一般化能力を保ちながら、見知らぬCAタスクに効果的に対処できるようにすることである。 既存のCA研究をレビューし、105のCAタスクの自然言語命令を作成しました。 そこで我々は,LCMの様々なタスクを解く上で,LCMの能力を総合的に評価できる,LCMのCA固有のベンチマークを開発した。 52kのCA関連命令を合成し,CA特化命令追従LDMの訓練に自己指示プロセスを適用した。 実験の結果,CA-specialized instruction fine-tuning はCAタスクと未確認タスクの両方において LLM を著しく向上させることがわかった。 同時に、SuperNIベンチマークの一般的なNLPタスクのパフォーマンスは安定している。

関連論文リスト

• Layer by Layer: Uncovering Where Multi-Task Learning Happens in Instruction-Tuned Large Language Models [22.676688441884465]
  タスクの多種多様な配列で訓練済みの大規模言語モデル(LLM)を微調整することが、モデル構築の一般的なアプローチとなっている。 本研究では,事前学習したLLMに符号化されたタスク固有情報と,その表現に対する指導指導の効果について検討する。
  論文  参考訳（メタデータ） (2024-10-25T23:38:28Z)
• Re-TASK: Revisiting LLM Tasks from Capability, Skill, and Knowledge Perspectives [54.14429346914995]
  CoT (Chain-of-Thought) は複雑な問題を解決する重要な方法となっている。 大規模言語モデル(LLM)はドメイン固有のタスクを正確に分解するのに苦労することが多い。 本稿では,LLMタスクを能力,スキル,知識の観点から再検討する理論モデルであるRe-TASKフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-08-13T13:58:23Z)
• A Survey of Useful LLM Evaluation [20.048914787813263]
  2段階フレームワーク:コア能力からエージェントへ」 コア能力」の段階では, LLMの推論能力, 社会的影響, ドメイン知識について議論した。 エージェントの段階では, LLMエージェントアプリケーションの動作, 計画, ツール学習の具体化を実演した。
  論文  参考訳（メタデータ） (2024-06-03T02:20:03Z)
• Distilling Instruction-following Abilities of Large Language Models with Task-aware Curriculum Planning [12.651588927599441]
  インストラクションチューニングは、大きな言語モデルにオープンドメイン命令と人間優先応答を合わせることを目的としている。 学生のLLMの追従が難しい命令を選択するために,TAPIR(Task-Aware Curriculum Planning for Instruction Refinement)を導入する。 学生の能力のバランスをとるために、トレーニングセット内のタスク分布は、対応するタスクに応じて自動的に調整された応答で調整される。
  論文  参考訳（メタデータ） (2024-05-22T08:38:26Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• When does In-context Learning Fall Short and Why? A Study on Specification-Heavy Tasks [54.71034943526973]
  In-context Learning (ICL)は、大規模言語モデル(LLM)のデフォルトメソッドとなっている。 ICLは、複雑で広範囲なタスク仕様を持つタスクである、仕様の重いタスクを処理できないことが分かりました。 我々は、コンテキストを具体的に理解できないこと、タスクスキーマが人間と理解できないこと、長文理解が不十分であること、の3つの主な理由を識別する。
  論文  参考訳（メタデータ） (2023-11-15T14:26:30Z)
• Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models [91.02730155418699]
  大規模言語モデル(LLM)は、自然言語命令に従うことで幅広いタスクを実行できる。 LLMに提供される命令の質を自動改善する新しい手法であるAuto-Instructを導入する。 118のアウトオブドメインタスクの実験では、Auto-Instructは人間による命令と既存のLCM生成命令のベースラインを超越している。
  論文  参考訳（メタデータ） (2023-10-19T19:52:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。