論文の概要: Learning Action Conditions from Instructional Manuals for Instruction Understanding
- arxiv url: http://arxiv.org/abs/2205.12420v2
- Date: Wed, 3 Jul 2024 00:49:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 21:02:45.791471
- Title: Learning Action Conditions from Instructional Manuals for Instruction Understanding
- Title(参考訳): 教示理解のための教示マニュアルからの学習行動条件
- Authors: Te-Lin Wu, Caiqi Zhang, Qingyuan Hu, Alex Spangher, Nanyun Peng,
- Abstract要約: 本稿では,行動条件推論というタスクを提案し,命令マニュアルにおける行動条件の事前条件と後条件の高品質なアノテートデータセットを収集する。
本稿では,オンライン指導マニュアルから大規模トレーニングインスタンスを自動構築する弱い教師付きアプローチを提案し,人間に注釈を付けて検証したデータセットをキュレートし,現在のNLPモデルが命令テキストの動作条件依存性をいかに推測できるかを検証した。
- 参考スコア(独自算出の注目度): 48.52663250368341
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability to infer pre- and postconditions of an action is vital for comprehending complex instructions, and is essential for applications such as autonomous instruction-guided agents and assistive AI that supports humans to perform physical tasks. In this work, we propose a task dubbed action condition inference, and collecting a high-quality, human annotated dataset of preconditions and postconditions of actions in instructional manuals. We propose a weakly supervised approach to automatically construct large-scale training instances from online instructional manuals, and curate a densely human-annotated and validated dataset to study how well the current NLP models can infer action-condition dependencies in the instruction texts. We design two types of models differ by whether contextualized and global information is leveraged, as well as various combinations of heuristics to construct the weak supervisions. Our experimental results show a >20% F1-score improvement with considering the entire instruction contexts and a >6% F1-score benefit with the proposed heuristics.
- Abstract(参考訳): アクションの事前条件と事後条件を推測する能力は、複雑な命令を解釈するのに不可欠であり、自律的な命令誘導エージェントや人間の物理的タスクの実行を支援する補助AIなどのアプリケーションに必須である。
本研究では,行動条件推論と呼ばれるタスクを提案し,命令マニュアルにおける行動の前提条件と後条件の高品質なアノテートされたデータセットを収集する。
本稿では,オンライン指導マニュアルから大規模トレーニングインスタンスを自動構築する弱い教師付きアプローチを提案し,人間に注釈を付けて検証したデータセットをキュレートし,現在のNLPモデルが命令テキストの動作条件依存性をいかに推測できるかを検証した。
我々は、文脈化された情報とグローバルな情報が活用されるか、弱い監督を構築するためのヒューリスティックの様々な組み合わせによって異なる2種類のモデルを設計する。
提案したヒューリスティックスでは,F1スコアが20%向上し,F1スコアが6%向上した。
関連論文リスト
- From Instance Training to Instruction Learning: Task Adapters Generation from Instructions [29.452006810725184]
本稿では,事例学習の欠点に対処するために,人間の学習をシミュレートすることに焦点を当てる。
タスク固有のモデルを自動的に構築するTAGI(Task Adapters from Instructions)を導入する。
超自然的インストラクションとP3データセットを用いたTAGIの評価を行った。
論文 参考訳(メタデータ) (2024-06-18T08:14:28Z) - Instruction Diversity Drives Generalization To Unseen Tasks [1.9059113568275998]
一般化は、タスク毎に非常に少数の例が提供されているにもかかわらず、一度に十分なタスクセットが提供されると現れる。
一般化は、タスク毎に非常に少数の例が提供されているにもかかわらず、一度に十分なタスクセットが提供されると現れる。
論文 参考訳(メタデータ) (2024-02-16T18:47:21Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳(メタデータ) (2024-01-07T18:12:20Z) - One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。
我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-12-16T03:33:12Z) - Auto-ICL: In-Context Learning without Human Supervision [93.05202223767463]
本稿では,モデルが問題解決のための例と指示を自律的に生成できる自動文脈学習フレームワークを提案する。
さまざまなモデルやデータセットにわたる実験により、結果は、モデル生成コンテキストが人間の注釈付きコンテキストより優れていることを示している。
論文 参考訳(メタデータ) (2023-11-15T07:37:28Z) - Instruction Tuning with Human Curriculum [15.025867460765559]
本稿では,カリキュラム・インストラクション・チューニングについて紹介する。(2)多様なカリキュラム戦略を採用することの潜在的な利点を探求し,(3)合成命令・レスポンス・ジェネレーション・フレームワークを規定する。
我々の生成パイプラインは、人間の学習の逐次的かつ秩序的な特性をエミュレートするために体系的に構成されている。
本稿では,人間教育の様々な段階にまたがる,命令応答型データセットを生成する手法について述べる。
論文 参考訳(メタデータ) (2023-10-14T07:16:08Z) - Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳(メタデータ) (2023-08-23T12:36:57Z) - Did You Read the Instructions? Rethinking the Effectiveness of Task
Definitions in Instruction Learning [74.70157466822612]
教科学習におけるタスク定義の役割を体系的に研究する。
タスク出力を記述する内容を削除すると,モデルの性能が大幅に低下することがわかった。
本稿では,モデルのタスク命令の活用を支援するための2つの戦略を提案する。
論文 参考訳(メタデータ) (2023-06-01T21:11:24Z) - Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。
我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。
AMPLIFYは,幅広いタスクに対して約10~25%の精度向上を実現している。
論文 参考訳(メタデータ) (2023-05-19T04:46:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。