論文の概要: DOLOMITES: Domain-Specific Long-Form Methodical Tasks

• arxiv url: http://arxiv.org/abs/2405.05938v3
• Date: Sun, 20 Oct 2024 01:02:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:13:43.789256
• Title: DOLOMITES: Domain-Specific Long-Form Methodical Tasks
• Title（参考訳）: DOLOMITES:ドメイン特有なロングフォームなメソジカルタスク
• Authors: Chaitanya Malaviya, Priyanka Agrawal, Kuzman Ganchev, Pranesh Srinivasan, Fantine Huot, Jonathan Berant, Mark Yatskar, Dipanjan Das, Mirella Lapata, Chris Alberti,
• Abstract要約: 本研究では,課題目標,手順,入力,出力の形式で構成された方法論的タスクのタイプロジーを開発する。 このベンチマークは519の仕様で、25の分野から数百のエキスパートが引き起こしたタスクである。 さらに,本ベンチマークでは,具体的入力と出力の例を用いた方法論的タスクの具体的インスタンス化について述べる。
• 参考スコア（独自算出の注目度）: 81.63464319950664
• License:
• Abstract: Experts in various fields routinely perform methodical writing tasks to plan, organize, and report their work. From a clinician writing a differential diagnosis for a patient, to a teacher writing a lesson plan for students, these tasks are pervasive, requiring to methodically generate structured long-form output for a given input. We develop a typology of methodical tasks structured in the form of a task objective, procedure, input, and output, and introduce DoLoMiTes, a novel benchmark with specifications for 519 such tasks elicited from hundreds of experts from across 25 fields. Our benchmark further contains specific instantiations of methodical tasks with concrete input and output examples (1,857 in total) which we obtain by collecting expert revisions of up to 10 model-generated examples of each task. We use these examples to evaluate contemporary language models highlighting that automating methodical tasks is a challenging long-form generation problem, as it requires performing complex inferences, while drawing upon the given context as well as domain knowledge.
• Abstract（参考訳）: さまざまな分野の専門家は、計画、組織化、報告を行うための方法論的な記述タスクを日常的に実行します。 患者に対する鑑別診断を書く臨床医から、学生のための授業計画を書く教師まで、これらのタスクは広く行き渡っており、与えられた入力に対して構造化された長期出力を体系的に生成する必要がある。 本研究では,タスク目標,手順,入力,出力の形式で構成された方法論的タスクのタイプを考案し,25分野から数百人の専門家から得られた519のタスクを仕様化した新しいベンチマークであるDoLoMiTesを紹介する。 さらに,本ベンチマークでは,各タスクのモデル生成例を10点まで抽出し,具体的な入力例と出力例(1,857件)を具体化する。 これらの例を用いて、与えられたコンテキストとドメイン知識を描画しながら複雑な推論を行う必要があるため、方法論的タスクの自動化が困難な長文生成問題であることを強調した現代言語モデルを評価する。

関連論文リスト

• Creating a Trajectory for Code Writing: Algorithmic Reasoning Tasks [0.923607423080658]
  本稿では,楽器とその検証に用いる機械学習モデルについて述べる。 我々は,学期最後の週に導入プログラミングコースで収集したデータを用いてきた。 先行研究は、ARTタイプの楽器を特定の機械学習モデルと組み合わせて効果的な学習軌道として機能させることができることを示唆している。
  論文  参考訳（メタデータ） (2024-04-03T05:07:01Z)
• Improving Task Generalization via Unified Schema Prompt [87.31158568180514]
  Unified Promptはフレキシブルでプロンプトの手法で、タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする。 異なるタスクスキーマの特徴を維持しながら、タスク間の共有知識をモデル化する。 このフレームワークは、8つのタスクタイプから下流に見えない16のタスクに対して、強力なゼロショットと少数ショットのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-05T15:26:36Z)
• Benchmarking Generalization via In-Context Instructions on 1,600+ Language Tasks [95.06087720086133]
  Natural-Instructions v2 は 1,600 以上の多種多様な言語タスクとその専門家による命令のコレクションである。 ベンチマークでは、タグ付け、インフィル、書き換えなど、70以上の異なるタスクタイプがカバーされている。 このベンチマークにより、モデルのクロスタスク一般化の大規模評価が可能になる。
  論文  参考訳（メタデータ） (2022-04-16T03:12:30Z)
• InstructionNER: A Multi-Task Instruction-Based Generative Framework for Few-shot NER [31.32381919473188]
  InstructionNERというマルチタスク命令ベースの生成フレームワークを提案する。 具体的には、NERタスクを生成問題として再構成し、タスク固有の命令と回答オプションでソース文を豊かにし、自然言語のエンティティと型を推論する。 実験結果から,本手法は5つのデータセットのベースラインを数ショット設定で一貫的に上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-03-08T07:56:36Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)
• Learning from Task Descriptions [24.588252048132862]
  本稿では,NLPシステム構築のためのフレームワークについて紹介する。 タスク指向評価のために構築された、新しい英語データセットであるZESTを用いて、このフレームワークをインスタンス化する。 現状のT5モデルはZESTで12%のスコアを獲得し、NLP研究者にとって大きな課題を残している。
  論文  参考訳（メタデータ） (2020-11-16T17:25:24Z)
• Towards Improved Model Design for Authorship Identification: A Survey on Writing Style Understanding [30.642840676899734]
  著者識別タスクは言語スタイルに大きく依存している。 手作りの機能セットに基づく従来の機械学習手法は、すでにパフォーマンスの限界に近づいている。 スタイル関連タスクにおける卓越した手法を概説し、それらの組み合わせがトップパフォーマンスモデルでどのように使われているかを分析する。
  論文  参考訳（メタデータ） (2020-09-30T05:17:42Z)
• Adaptive Procedural Task Generation for Hard-Exploration Problems [78.20918366839399]
  ハード探索問題における強化学習を容易にするために,適応手続きタスク生成(APT-Gen)を導入する。 私たちのアプローチの中心は、ブラックボックスの手続き生成モジュールを通じてパラメータ化されたタスク空間からタスクを作成することを学習するタスクジェネレータです。 学習進捗の直接指標がない場合のカリキュラム学習を可能にするために,生成したタスクにおけるエージェントのパフォーマンスと,対象タスクとの類似性をバランスさせてタスクジェネレータを訓練することを提案する。
  論文  参考訳（メタデータ） (2020-07-01T09:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。