論文の概要: Learning Action Conditions from Instructional Manuals for Instruction
Understanding
- arxiv url: http://arxiv.org/abs/2205.12420v1
- Date: Wed, 25 May 2022 00:19:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-28 22:46:59.384965
- Title: Learning Action Conditions from Instructional Manuals for Instruction
Understanding
- Title(参考訳): 教示理解のための教示マニュアルからの学習行動条件
- Authors: Te-Lin Wu, Caiqi Zhang, Qingyuan Hu, Alex Spangher, Nanyun Peng
- Abstract要約: 本稿では,行動条件推論というタスクを提案し,命令マニュアルにおける行動条件の事前条件と後条件の高品質なアノテートデータセットを収集する。
本稿では,オンライン指導マニュアルから大規模トレーニングインスタンスを自動構築する弱い教師付きアプローチを提案し,人間に注釈を付けて検証したデータセットをキュレートし,現在のNLPモデルが命令テキストの動作条件依存性をいかに推測できるかを検証した。
- 参考スコア(独自算出の注目度): 30.68386372080192
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability to infer pre- and postconditions of an action is vital for
comprehending complex instructions, and is essential for applications such as
autonomous instruction-guided agents and assistive AI that supports humans to
perform physical tasks. In this work, we propose a task dubbed action condition
inference, and collecting a high-quality, human annotated dataset of
preconditions and postconditions of actions in instructional manuals. We
propose a weakly supervised approach to automatically construct large-scale
training instances from online instructional manuals, and curate a densely
human-annotated and validated dataset to study how well the current NLP models
can infer action-condition dependencies in the instruction texts. We design two
types of models differ by whether contextualized and global information is
leveraged, as well as various combinations of heuristics to construct the weak
supervisions. Our experimental results show a >20% F1-score improvement with
considering the entire instruction contexts and a >6% F1-score benefit with the
proposed heuristics.
- Abstract(参考訳): アクションの事前条件と事後条件を推測する能力は、複雑な命令を解釈するのに不可欠であり、自律的な命令誘導エージェントや人間の物理的タスクの実行を支援する補助AIなどのアプリケーションに必須である。
本研究では,行動条件推論と呼ばれるタスクを提案し,命令マニュアルにおける行動の前提条件と後条件の高品質な注釈付きデータセットを収集する。
本稿では,オンライン指導マニュアルから大規模トレーニングインスタンスを自動的に構築し,人間に注釈付きかつ検証されたデータセットをキュレーションするための弱い教師付きアプローチを提案する。
我々は,コンテキスト化とグローバル化の情報活用の2つのモデルと,弱い監督を構築するためのヒューリスティックの様々な組み合わせをデザインする。
実験の結果,命令コンテキスト全体を考慮した場合,20%以上のf1-score改善と,提案するヒューリスティックスによる6%以上のf1-score改善が得られた。
関連論文リスト
- Instruction Diversity Drives Generalization To Unseen Tasks [1.9059113568275998]
一般化は、タスク毎に非常に少数の例が提供されているにもかかわらず、一度に十分なタスクセットが提供されると現れる。
一般化は、タスク毎に非常に少数の例が提供されているにもかかわらず、一度に十分なタスクセットが提供されると現れる。
論文 参考訳(メタデータ) (2024-02-16T18:47:21Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳(メタデータ) (2024-01-07T18:12:20Z) - Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳(メタデータ) (2023-08-23T12:36:57Z) - Did You Read the Instructions? Rethinking the Effectiveness of Task
Definitions in Instruction Learning [74.70157466822612]
教科学習におけるタスク定義の役割を体系的に研究する。
タスク出力を記述する内容を削除すると,モデルの性能が大幅に低下することがわかった。
本稿では,モデルのタスク命令の活用を支援するための2つの戦略を提案する。
論文 参考訳(メタデータ) (2023-06-01T21:11:24Z) - Entailment as Robust Self-Learner [14.86757876218415]
我々は、複数の異なるNLUタスクを文脈的エンターテイメントとして定式化するプロンプト戦略を設計する。
自己学習における擬似ラベル品質向上のための簡易擬似ラベル編集(SimPLE)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-05-26T18:41:23Z) - In-Context Probing: Toward Building Robust Classifiers via Probing Large
Language Models [5.5089506884366735]
本稿では, In-Context Probing (ICP) という代替手法を提案する。
インコンテキスト学習と同様に、入力の表現を命令で文脈化するが、出力予測を復号する代わりに、ラベルを予測するために文脈化表現を探索する。
我々はICPがファインタニングよりも優れていることを示し、より小さなモデルの上に分類器を構築するのに特に有用であることを示した。
論文 参考訳(メタデータ) (2023-05-23T15:43:04Z) - Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。
我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。
AMPLIFYは,幅広いタスクに対して約10~25%の精度向上を実現している。
論文 参考訳(メタデータ) (2023-05-19T04:46:04Z) - Instruction Induction: From Few Examples to Natural Language Task
Descriptions [55.139554327372934]
実例に適合する自然言語命令を生成するように促すことで,言語モデルがいくつかの実演から基礎となるタスクを明示的に推論できることを示す。
InstructGPTは65.7%の人的パフォーマンスを達成するが、オリジナルのGPT-3モデルは9.8%にしか達しない。
論文 参考訳(メタデータ) (2022-05-22T09:22:37Z) - SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark
for Semantic and Generative Capabilities [76.97949110580703]
各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。
データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。
また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
論文 参考訳(メタデータ) (2022-03-14T04:26:40Z) - Hierarchical Variational Imitation Learning of Control Programs [131.7671843857375]
パラメータ化された階層的手順(PHP)で表される制御ポリシーの模倣学習のための変分推論手法を提案する。
本手法は, 教師による実演の観察・行動トレースのデータセットにおける階層構造を, 手続き呼び出しや用語の待ち行列に近似した後続分布を学習することによって発見する。
階層的模倣学習(hierarchical mimicion learning)の文脈における変分推論の新たな利点を実証する。
論文 参考訳(メタデータ) (2019-12-29T08:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。