論文の概要: SlicerChat: Building a Local Chatbot for 3D Slicer

• arxiv url: http://arxiv.org/abs/2407.11987v1
• Date: Wed, 5 Jun 2024 03:32:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 11:50:18.570548
• Title: SlicerChat: Building a Local Chatbot for 3D Slicer
• Title（参考訳）: スライダチャット:3Dスライダのためのローカルチャットボットの構築
• Authors: Colton Barr,
• Abstract要約: 3D Slicerは3Dデータ視覚化と分析のための強力なプラットフォームだが、新しいユーザーにとって大きな学習曲線がある。 このプロジェクトでは,3D Slicer関連の質問に答えるために最適化されたSlicerChatシステムを構築している。 サイズ1.1B、7B、13Bのモデルは、低階適応を用いて微調整された。 3DスライダドキュメンテーションのさまざまなソースがRetrieval Augmented Generationパラダイムで使用するためにコンパイルされた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D Slicer is a powerful platform for 3D data visualization and analysis, but has a significant learning curve for new users. Generative AI applications, such as ChatGPT, have emerged as a potential method of bridging the gap between various sources of documentation using natural language. The limited exposure of LLM services to 3D Slicer documentation, however, means that ChatGPT and related services tend to suffer from significant hallucination. The objective of this project is to build a chatbot architecture, called SlicerChat, that is optimized to answer 3D Slicer related questions and able to run locally using an open-source model. The core research questions explored in this work revolve around the answer quality and speed differences due to fine-tuning, model size, and the type of domain knowledge included in the prompt. A prototype SlicerChat system was built as a custom extension in 3D Slicer based on the Code-Llama Instruct architecture. Models of size 1.1B, 7B and 13B were fine-tuned using Low rank Adaptation, and various sources of 3D Slicer documentation were compiled for use in a Retrieval Augmented Generation paradigm. Testing combinations of fine-tuning and model sizes on a benchmark dataset of five 3D Slicer questions revealed that fine-tuning had no impact on model performance or speed compared to the base architecture, and that larger models performed better with a significant speed decrease. Experiments with adding 3D Slicer documentation to the prompt showed that Python sample code and Markdown documentation were the most useful information to include, but that adding 3D Slicer scene data and questions taken from Discourse also improved model performance. In conclusion, this project shows the potential for integrating a high quality, local chatbot directly into 3D Slicer to help new users and experienced developers alike to more efficiently use the software.
• Abstract（参考訳）: 3D Slicerは3Dデータ視覚化と分析のための強力なプラットフォームだが、新しいユーザーにとって大きな学習曲線がある。 ChatGPTのような生成AIアプリケーションは、自然言語を使ってさまざまなドキュメントソース間のギャップを埋める潜在的な方法として登場した。 しかし、3DスライダのドキュメンテーションへのLLMサービスの露出は限られているため、ChatGPTと関連するサービスは幻覚に悩まされる傾向にある。 このプロジェクトの目的は、SlicerChatと呼ばれるチャットボットアーキテクチャを構築することであり、3D Slicer関連の質問に答え、オープンソースモデルを使用してローカルで実行できるように最適化されている。 この研究で調査された中核的な質問は、微調整、モデルサイズ、そしてプロンプトに含まれるドメイン知識の種類による、回答の品質と速度の違いに関するものだ。 プロトタイプのSlicerChatシステムは、Code-Llama Instructアーキテクチャに基づいた3Dスライダのカスタム拡張として開発された。 低階適応を用いてサイズ1.1B,7B,13Bのモデルを微調整し、3Dスライダドキュメンテーションの様々なソースを検索型拡張生成パラダイムで使用するためにコンパイルした。 5つの3D Slicer質問のベンチマークデータセットで、ファインチューニングとモデルサイズの組み合わせをテストすると、ファインチューニングはベースアーキテクチャと比較してモデル性能や速度に影響を与えず、より大きなモデルの方が大幅に速度を低下させる結果となった。 プロンプトに3Dスライダのドキュメンテーションを追加する実験では、PythonのサンプルコードとMarkdownのドキュメンテーションが最も有用な情報であるが、3DスライダのシーンデータとDiscourseからの質問もモデルのパフォーマンスを改善した。 結論として、このプロジェクトは高品質でローカルなチャットボットを3D Slicerに直接統合し、新しいユーザーや経験豊富な開発者がソフトウェアをより効率的に使えるようにする可能性を示している。

関連論文リスト

• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• Grounded 3D-LLM with Referent Tokens [58.890058568493096]
  そこで我々は,Grounded 3D-LLMを提案する。 このモデルは、3Dシーンを参照するために特別な名詞句としてシーン参照トークンを使用する。 3D視覚タスクをタスク固有の命令テンプレートを使用して言語形式に変換する自然なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-05-16T18:03:41Z)
• Transcrib3D: 3D Referring Expression Resolution through Large Language Models [28.121606686759225]
  本稿では,3次元検出手法と大規模言語モデルの創発的推論機能を組み合わせたアプローチであるTranscrib3Dを紹介する。 Transcrib3Dは3D参照解像度ベンチマークで最先端の結果を得る。 提案手法は,提案手法を用いて,参照表現の難易度を含むクエリに対して,実際のロボットがピック・アンド・プレイス・タスクを実行できることを示す。
  論文  参考訳（メタデータ） (2024-04-30T02:48:20Z)
• Instant3D: Instant Text-to-3D Generation [101.25562463919795]
  Instant3Dと呼ばれる高速テキストから3D生成のための新しいフレームワークを提案する。 Instant3Dはフィードフォワードネットワークの単一実行で1秒未満で、目に見えないテキストプロンプトのための3Dオブジェクトを作成することができる。
  論文  参考訳（メタデータ） (2023-11-14T18:59:59Z)
• Occ3D: A Large-Scale 3D Occupancy Prediction Benchmark for Autonomous Driving [34.368848580725576]
  我々は,任意のシーンに対して,濃密で可視性に配慮したラベルを生成するラベル生成パイプラインを開発した。 このパイプラインは、ボクセルの密度化、推論、画像誘導ボクセル精製の3段階からなる。 我々は、Occ3Dベンチマークにおいて優れた性能を示すCTF-Occネットワークと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2023-04-27T17:40:08Z)
• Visual Localization using Imperfect 3D Models from the Internet [54.731309449883284]
  本稿では,3次元モデルにおける欠陥が局所化精度に与える影響について検討する。 インターネットから得られる3Dモデルは、容易に表現できるシーン表現として有望であることを示す。
  論文  参考訳（メタデータ） (2023-04-12T16:15:05Z)
• Prompt-guided Scene Generation for 3D Zero-Shot Learning [8.658191774247944]
  本稿では,ネットワークをよりよく学習するための3Dデータを増やすために,プロンプト誘導型3Dシーン生成と監視手法を提案する。 まず、2つの3Dモデルの点雲を、プロンプトによって記述された特定の方法でマージする。 我々は、合成(ModelNet40, ModelNet10)および実走査(ScanOjbectNN)3Dオブジェクトデータセット上で、最先端のZSLと一般化されたZSL性能を実現した。
  論文  参考訳（メタデータ） (2022-09-29T11:24:33Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• A Convolutional Architecture for 3D Model Embedding [1.3858051019755282]
  入力として3Dモデルを扱うディープラーニングアーキテクチャを提案する。 埋め込み表現は3Dオブジェクトの類似性評価を扱うのに役立つセマンティック情報を伝えることを示した。
  論文  参考訳（メタデータ） (2021-03-05T15:46:47Z)
• Interactive Annotation of 3D Object Geometry using 2D Scribbles [84.51514043814066]
  本稿では,ポイントクラウドデータとRGB画像から3次元オブジェクト形状をアノテートする対話型フレームワークを提案する。 当社のフレームワークは,芸術的,グラフィック的専門知識のないナイーブユーザを対象としている。
  論文  参考訳（メタデータ） (2020-08-24T21:51:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。