論文の概要: AmadeusGPT: a natural language interface for interactive animal behavioral analysis

• arxiv url: http://arxiv.org/abs/2307.04858v1
• Date: Mon, 10 Jul 2023 19:15:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 17:09:47.660625
• Title: AmadeusGPT: a natural language interface for interactive animal behavioral analysis
• Title（参考訳）: amadeusgpt:インタラクティブな動物行動分析のための自然言語インタフェース
• Authors: Shaokai Ye, Jessy Lauer, Mu Zhou, Alexander Mathis, Mackenzie W. Mathis
• Abstract要約: 動作の自然言語記述をマシン実行可能なコードに変換する自然言語インタフェースであるAmadeusGPTを紹介する。 MABE 2022の動作課題タスクで最先端のパフォーマンスを実現できることを示す。 アマデウスGPTは、深い生物学的知識、大規模言語モデル、そしてコアコンピュータビジョンモジュールをより自然に知的なシステムに統合する新しい方法を提示している。
• 参考スコア（独自算出の注目度）: 65.55906175884748
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The process of quantifying and analyzing animal behavior involves translating the naturally occurring descriptive language of their actions into machine-readable code. Yet, codifying behavior analysis is often challenging without deep understanding of animal behavior and technical machine learning knowledge. To limit this gap, we introduce AmadeusGPT: a natural language interface that turns natural language descriptions of behaviors into machine-executable code. Large-language models (LLMs) such as GPT3.5 and GPT4 allow for interactive language-based queries that are potentially well suited for making interactive behavior analysis. However, the comprehension capability of these LLMs is limited by the context window size, which prevents it from remembering distant conversations. To overcome the context window limitation, we implement a novel dual-memory mechanism to allow communication between short-term and long-term memory using symbols as context pointers for retrieval and saving. Concretely, users directly use language-based definitions of behavior and our augmented GPT develops code based on the core AmadeusGPT API, which contains machine learning, computer vision, spatio-temporal reasoning, and visualization modules. Users then can interactively refine results, and seamlessly add new behavioral modules as needed. We benchmark AmadeusGPT and show we can produce state-of-the-art performance on the MABE 2022 behavior challenge tasks. Note, an end-user would not need to write any code to achieve this. Thus, collectively AmadeusGPT presents a novel way to merge deep biological knowledge, large-language models, and core computer vision modules into a more naturally intelligent system. Code and demos can be found at: https://github.com/AdaptiveMotorControlLab/AmadeusGPT.
• Abstract（参考訳）: 動物の行動の定量化と分析のプロセスは、自然に発生する記述言語を機械可読コードに翻訳する。 しかし、動物行動や技術機械学習の知識を深く理解しなければ、行動分析の体系化は難しいことが多い。 このギャップを制限するために、動作の自然言語記述をマシン実行可能なコードに変換する自然言語インターフェースであるAmadeusGPTを紹介します。 GPT3.5やGPT4のような大規模言語モデル(LLM)は、対話的な振る舞い分析に適した対話型言語ベースのクエリを可能にする。 しかし、これらのLLMの理解能力はコンテキストウィンドウサイズによって制限されており、遠隔会話を記憶できない。 コンテクストウィンドウの制限を克服するため,シンボルをコンテキストポインタとして,短期記憶と長期記憶の通信を可能にする新しいデュアルメモリ機構を実装した。 具体的には、ユーザは言語に基づく行動定義を直接使用し、拡張GPTは、機械学習、コンピュータビジョン、時空間推論、可視化モジュールを含むコアAmadeusGPT APIに基づくコードを開発する。 ユーザは対話的に結果を洗練し、必要に応じて新しい行動モジュールをシームレスに追加できる。 我々は, AmadeusGPT をベンチマークし, MABE 2022 の動作課題タスクで最先端のパフォーマンスを実現できることを示す。 注: エンドユーザは、これを達成するためにコードを書かなくてもよい。 したがって、アマデウスgptは、深い生物学的知識、大言語モデル、コアコンピュータビジョンモジュールをより自然なシステムに統合する新しい方法を提案する。 コードとデモは、https://github.com/AdaptiveMotorControlLab/AmadeusGPTで見ることができる。

関連論文リスト

• Large Language Model Based Generative Error Correction: A Challenge and Baselines for Speech Recognition, Speaker Tagging, and Emotion Recognition [110.8431434620642]
  生成音声の書き起こし誤り訂正(GenSEC)の課題について紹介する。 この課題は、(i)ASR後の転写補正、(ii)話者タグ付け、(iii)感情認識という、3つのASR後の言語モデリングタスクを含む。 本稿では,ベースライン評価から得られた知見と,今後の評価設計における教訓について論じる。
  論文  参考訳（メタデータ） (2024-09-15T16:32:49Z)
• Talk Less, Interact Better: Evaluating In-context Conversational Adaptation in Multimodal LLMs [14.997971970162743]
  人間は、アドホックな慣習を適応し形成することによって、対話の進行に伴って、より効率的な言語を自然に利用する。 マルチモーダル・大規模言語モデル (MLLM) が通信効率を向上するかどうかについては未解明である。 本稿では,MLLMにおける文脈内行動としての会話適応を自動評価するフレームワークICCAを紹介する。
  論文  参考訳（メタデータ） (2024-08-02T17:51:57Z)
• ClawMachine: Fetching Visual Tokens as An Entity for Referring and Grounding [67.63933036920012]
  プロキシエンコーディングやジオメトリエンコーディングを含む既存のメソッドには、オブジェクトの位置をエンコードするための追加構文が含まれている。 この研究はClawMachineを紹介し、視覚トークンを直接使用してエンティティに通知する新しい方法論を提供する。 ClawMachineはビジュアル参照とグラウンドを自動回帰形式に統合し、デコーダのみのアーキテクチャで学習する。
  論文  参考訳（メタデータ） (2024-06-17T08:39:16Z)
• Linguacodus: A Synergistic Framework for Transformative Code Generation in Machine Learning Pipelines [0.0]
  本稿では,自然言語のタスク記述を高レベルなデータ生成命令によってコードに変換する動的パイプラインを提案する。 本稿では、微調整過程を詳述し、自然言語記述を関数型コードに変換する方法について光を当てる。 本稿では,MLタスクの自然な記述を人間のインタラクションを最小限に抑えたコードに変換するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:58:47Z)
• Large Language User Interfaces: Voice Interactive User Interfaces powered by LLMs [5.06113628525842]
  ユーザとユーザインターフェース(UI)の仲介として機能するフレームワークを提案する。 アノテーションの形でUIコンポーネントのテキストセマンティックマッピングに立つシステムを採用している。 我々のエンジンは、最も適切なアプリケーションを分類し、関連するパラメータを抽出し、その後、ユーザの期待するアクションの正確な予測を実行することができる。
  論文  参考訳（メタデータ） (2024-02-07T21:08:49Z)
• Dialogue-based generation of self-driving simulation scenarios using Large Language Models [14.86435467709869]
  シミュレーションは自動運転車のコントローラーを開発し評価するための貴重なツールである。 現在のシミュレーションフレームワークは、高度に専門的なドメイン固有言語によって駆動される。 簡潔な英語の発話と、ユーザの意図をキャプチャする実行可能なコードの間には、しばしばギャップがある。
  論文  参考訳（メタデータ） (2023-10-26T13:07:01Z)
• Open-Ended Instructable Embodied Agents with Memory-Augmented Large Language Models [19.594361652336996]
  本稿では,言語プログラムペアの外部メモリを備えたエンボディエージェントであるHELPERを紹介する。 関連する記憶は、現在の対話、命令、修正、またはVLM記述に基づいて検索される。 HELPERは、ダイアログヒストリ(EDH)とトラジェクトリ(TfD)の両方でTEAChベンチマークに新しい最先端を設定している。
  論文  参考訳（メタデータ） (2023-10-23T17:31:55Z)
• Eliciting Human Preferences with Language Models [56.68637202313052]
  言語モデル(LM)は、ラベル付き例や自然言語のプロンプトを使用してターゲットタスクを実行するように指示することができる。 タスク仕様プロセスのガイドには*LM自身を使うことを提案します。 我々は、メール検証、コンテンツレコメンデーション、道徳的推論の3つの領域でGATEを研究している。
  論文  参考訳（メタデータ） (2023-10-17T21:11:21Z)
• ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT [72.83383437501577]
  大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。 LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。 本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:47Z)
• Learning Adaptive Language Interfaces through Decomposition [89.21937539950966]
  本稿では,分解による新しいハイレベルな抽象化を学習するニューラルセマンティック解析システムを提案する。 ユーザは、新しい振る舞いを記述する高レベルな発話を低レベルなステップに分解することで、対話的にシステムを教える。
  論文  参考訳（メタデータ） (2020-10-11T08:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。