論文の概要: LINGO : Visually Debiasing Natural Language Instructions to Support Task Diversity

• arxiv url: http://arxiv.org/abs/2304.06184v1
• Date: Wed, 12 Apr 2023 22:55:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 16:09:00.037858
• Title: LINGO : Visually Debiasing Natural Language Instructions to Support Task Diversity
• Title（参考訳）: lingo : タスクの多様性を支える自然言語の指示を視覚的に偏らせる
• Authors: Anjana Arunkumar, Shubham Sharma, Rakhi Agrawal, Sriram Chandrasekaran, Chris Bryan
• Abstract要約: 我々は,タスク駆動型ワークフローをサポートする新しいビジュアル分析インタフェースであるINGOを開発した。 我々は,1,616の言語課題のデータセットとその自然言語命令について,初心者と専門家の双方でユーザスタディを実施している。 両方のユーザグループに対して、lingOは事前訓練されたモデルのより難しいタスクの作成を促進する。
• 参考スコア（独自算出の注目度）: 11.44413929033824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-task generalization is a significant outcome that defines mastery in natural language understanding. Humans show a remarkable aptitude for this, and can solve many different types of tasks, given definitions in the form of textual instructions and a small set of examples. Recent work with pre-trained language models mimics this learning style: users can define and exemplify a task for the model to attempt as a series of natural language prompts or instructions. While prompting approaches have led to higher cross-task generalization compared to traditional supervised learning, analyzing 'bias' in the task instructions given to the model is a difficult problem, and has thus been relatively unexplored. For instance, are we truly modeling a task, or are we modeling a user's instructions? To help investigate this, we develop LINGO, a novel visual analytics interface that supports an effective, task-driven workflow to (1) help identify bias in natural language task instructions, (2) alter (or create) task instructions to reduce bias, and (3) evaluate pre-trained model performance on debiased task instructions. To robustly evaluate LINGO, we conduct a user study with both novice and expert instruction creators, over a dataset of 1,616 linguistic tasks and their natural language instructions, spanning 55 different languages. For both user groups, LINGO promotes the creation of more difficult tasks for pre-trained models, that contain higher linguistic diversity and lower instruction bias. We additionally discuss how the insights learned in developing and evaluating LINGO can aid in the design of future dashboards that aim to minimize the effort involved in prompt creation across multiple domains.
• Abstract（参考訳）: クロスタスクの一般化は、自然言語理解における熟達を定義する重要な結果である。 人間はこのことに顕著な適性を示し、テキスト命令と少数の例の形で定義された多くの異なる種類のタスクを解決できる。 ユーザがモデルが一連の自然言語プロンプトや命令として試みるタスクを定義し、例示することができる。 プロンプトアプローチは、従来の教師付き学習よりもクロスタスクの一般化に繋がる一方で、モデルに与えられたタスク命令の'バイアス'の分析は難しい問題であり、それゆえ比較的探索されていない。 例えば、本当にタスクをモデリングしているのか、それともユーザの指示をモデリングしているのか? そこで本研究では,(1)自然言語タスク命令のバイアスを識別し,(2)バイアスを減らすためのタスク命令を変更(あるいは作成)し,(3)偏りのあるタスク命令に対して事前学習したモデル性能を評価するための,効果的なタスク駆動ワークフローをサポートする新しいビジュアル分析インタフェースであるINGOを開発する。 1,616の言語タスクとその自然言語命令を55の異なる言語にまたがるデータセットを用いて,初心者とエキスパートの両方の指導者を対象に,ユーザ調査を行った。 両方のユーザグループに対して、lingoは、高い言語多様性と低い命令バイアスを含む事前学習されたモデルのためのより難しいタスクの作成を促進する。 さらに、lingoの開発と評価で学んだ知見が、複数のドメインにまたがる迅速な作成に関わる労力を最小化することを目的とした、将来のダッシュボードの設計にどのように役立つかについても論じる。

関連論文リスト

• An Incomplete Loop: Deductive, Inductive, and Abductive Learning in Large Language Models [99.31449616860291]
  現代の言語モデル(LM)は、異なる方法で新しいタスクを実行することを学べる。 次の命令では、ターゲットタスクは自然言語で明示的に記述され、少数ショットプロンプトでは、タスクは暗黙的に指定される。 命令推論では、LMはインコンテキストの例を示し、自然言語のタスク記述を生成するように促される。
  論文  参考訳（メタデータ） (2024-04-03T19:31:56Z)
• UniverSLU: Universal Spoken Language Understanding for Diverse Tasks with Natural Language Instructions [64.50935101415776]
  我々は,様々な音声言語理解(SLU)タスクを共同で行う単一モデルを構築した。 我々は17のデータセットと9の言語にまたがる12の音声分類とシーケンス生成タスクタイプに対して,1つのマルチタスク学習モデル"UniverSLU"の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-04T17:10:23Z)
• Did You Read the Instructions? Rethinking the Effectiveness of Task Definitions in Instruction Learning [74.70157466822612]
  教科学習におけるタスク定義の役割を体系的に研究する。 タスク出力を記述する内容を削除すると,モデルの性能が大幅に低下することがわかった。 本稿では,モデルのタスク命令の活用を支援するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-01T21:11:24Z)
• Large Language Model Instruction Following: A Survey of Progresses and Challenges [15.94137745420097]
  本稿では,現在の指導研究を要約し,考察する。 われわれの知る限りでは、次の教示に関する総合的な調査はこれが初めてである。
  論文  参考訳（メタデータ） (2023-03-18T19:17:47Z)
• Robustness of Learning from Task Instructions [15.462970803323563]
  従来の教師付き学習は、主に個々のタスクに取り組み、タスク固有の大きな例のトレーニングを必要とする。 新しいタスクに迅速かつ容易に一般化できるシステムを構築するために、タスク命令を監督の新たなトレンドとして採用している。 本研究は,新しいタスクの指示が (i) 操作された場合, (ii) 言い換えられた場合, (iii) 異なるレベルの簡潔さからシステムロバスト性を調べる。
  論文  参考訳（メタデータ） (2022-12-07T17:54:59Z)
• Instruction Induction: From Few Examples to Natural Language Task Descriptions [55.139554327372934]
  実例に適合する自然言語命令を生成するように促すことで,言語モデルがいくつかの実演から基礎となるタスクを明示的に推論できることを示す。 InstructGPTは65.7%の人的パフォーマンスを達成するが、オリジナルのGPT-3モデルは9.8%にしか達しない。
  論文  参考訳（メタデータ） (2022-05-22T09:22:37Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• Ask Your Humans: Using Human Instructions to Improve Generalization in Reinforcement Learning [32.82030512053361]
  本研究では、自然言語の指示や行動軌跡の形で、ステップバイステップの人間の実演を行うことを提案する。 人間のデモは、最も複雑なタスクを解決するのに役立ちます。 また、自然言語を組み込むことで、ゼロショット設定で未確認のタスクを一般化できることがわかった。
  論文  参考訳（メタデータ） (2020-11-01T14:39:46Z)
• The Turking Test: Can Language Models Understand Instructions? [45.266428794559495]
  本稿では,様々な複雑さの自然言語命令に従うモデルの能力を検証したチューリングテストを提案する。 優れた評価手法にもかかわらず、大きな事前訓練された言語モデルが全てのタスクで不十分に機能することを観察する。
  論文  参考訳（メタデータ） (2020-10-22T18:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。