論文の概要: $L^*LM$: Learning Automata from Examples using Natural Language Oracles

• arxiv url: http://arxiv.org/abs/2402.07051v1
• Date: Sat, 10 Feb 2024 21:46:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 17:56:46.995210
• Title: $L^*LM$: Learning Automata from Examples using Natural Language Oracles
• Title（参考訳）: L^*LM$:自然言語によるOracleの例からオートマタを学ぶ
• Authors: Marcell Vazquez-Chanlatte, Karim Elmaaroufi, Stefan J. Witwicki, Sanjit A. Seshia
• Abstract要約: L*LM$は、デモと自然言語の両方からDFAを学ぶアルゴリズムである。 専門家による実演からDFAを学習する際のデータ効率の大幅な改善を観察する。
• 参考スコア（独自算出の注目度）: 3.708221794202525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Expert demonstrations have proven an easy way to indirectly specify complex tasks. Recent algorithms even support extracting unambiguous formal specifications, e.g. deterministic finite automata (DFA), from demonstrations. Unfortunately, these techniques are generally not sample efficient. In this work, we introduce $L^*LM$, an algorithm for learning DFAs from both demonstrations and natural language. Due to the expressivity of natural language, we observe a significant improvement in the data efficiency of learning DFAs from expert demonstrations. Technically, $L^*LM$ leverages large language models to answer membership queries about the underlying task. This is then combined with recent techniques for transforming learning from demonstrations into a sequence of labeled example learning problems. In our experiments, we observe the two modalities complement each other, yielding a powerful few-shot learner.
• Abstract（参考訳）: 専門家によるデモンストレーションは、複雑なタスクを間接的に指定する簡単な方法が証明された。 最近のアルゴリズムは、デモから決定論的有限オートマトン(DFA)のような曖昧な形式仕様の抽出までサポートしている。 残念ながら、これらの技術は一般的にサンプル効率が良くない。 本稿では,実演と自然言語の両方からDFAを学習するアルゴリズムである$L^*LM$を紹介する。 自然言語の表現性から,専門家によるDFAの学習におけるデータ効率の大幅な向上が観察された。 技術的には、$L^*LM$は大きな言語モデルを利用して、基礎となるタスクに関するメンバシップクエリに答える。 これは、デモから学習をラベル付きサンプル学習問題の列に変換する最近の技術と組み合わされる。 実験では,2つのモダリティが相互に補完し,強力な数発の学習者が得られることを示した。

関連論文リスト

• Identifying and Analyzing Task-Encoding Tokens in Large Language Models [55.03191279766383]
  本稿では,タスク性能が依存するタスク符号化トークンの識別と解析を行う。 テンプレートとストップワードトークンはタスクエンコーディングが最も困難であることを示す。 我々の研究は、大規模言語モデル(LLM)がいかにして、デモからタスクを実行するかを学習し、LLMでプレイされるさまざまな種類のトークンの役割の理解を深め、タスクエンコーディングトークンを不適切な利用から不安定を避けるための洞察を提供する。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• Deep Natural Language Feature Learning for Interpretable Prediction [1.6114012813668932]
  本稿では,メインの複雑なタスクを仲介しやすいサブタスクの集合に分解する手法を提案する。 本手法では,これらの質問に対する回答からなるベクトルで各例を表現できる。 我々は,学生のオープンエンド数学試験に対する回答の不整合性の検出と,気候変動と農業学に関する科学的論文の体系的な文献レビューのための要約のスクリーニングという,2つのまったく異なるタスクにこの手法を適用した。
  論文  参考訳（メタデータ） (2023-11-09T21:43:27Z)
• Exploring Demonstration Ensembling for In-context Learning [75.35436025709049]
  In-context Learning (ICL) は、与えられたタスクに対する入出力ペアの言語モデル(LM)の例を示す。 ICLの標準的なアプローチは、LMdのデモとテスト入力の促進である。 本研究は,単純な結合の代替として,DENSE(Demonstration Ensembling)を探索する。
  論文  参考訳（メタデータ） (2023-08-17T04:45:19Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)
• Explaining Patterns in Data with Language Models via Interpretable Autoprompting [143.4162028260874]
  本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。 iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。 fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
  論文  参考訳（メタデータ） (2022-10-04T18:32:14Z)
• Teaching an Active Learner with Contrastive Examples [35.926575235046634]
  本研究では,学習者が補助的な教師によって支援される追加のツイストを用いて,能動的学習の課題について検討する。 比較例を適応的に選択する効率的な学習アルゴリズムについて検討する。 2つの問題依存パラメータに基づいてアルゴリズムの性能保証を行う。
  論文  参考訳（メタデータ） (2021-10-28T05:00:55Z)
• Reordering Examples Helps during Priming-based Few-Shot Learning [6.579039107070663]
  PERO は 10 個の例から効率よく一般化できることを示す。 提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
  論文  参考訳（メタデータ） (2021-06-03T11:02:36Z)
• Active$^2$ Learning: Actively reducing redundancies in Active Learning methods for Sequence Tagging and Machine Translation [14.030275887949147]
  アクティブラーニング(AL)戦略は、マニュアルアノテーションの少数の例を反復的に選択することで、大量のラベル付きデータの必要性を減らす。 本稿では,al戦略が個別に例を選択することから,学習過程に寄与しない類似の例を選択できる可能性について論じる。 提案手法であるActive$mathbf2$ Learning (A$mathbf2$L)は,このような冗長な例を排除するために,ディープラーニングモデルに積極的に適応する。
  論文  参考訳（メタデータ） (2021-03-11T06:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。