論文の概要: PACuna: Automated Fine-Tuning of Language Models for Particle Accelerators

• arxiv url: http://arxiv.org/abs/2310.19106v1
• Date: Sun, 29 Oct 2023 18:43:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 14:28:07.878968
• Title: PACuna: Automated Fine-Tuning of Language Models for Particle Accelerators
• Title（参考訳）: PACuna: 粒子加速器のための言語モデルの自動調整
• Authors: Antonin Sulc, Raimund Kammering, Annika Eichler, Tim Wilksen
• Abstract要約: PACunaは、カンファレンスやプレプリント、書籍など、一般公開されたアクセラレータリソースを通じて洗練された、微調整された言語モデルである。 専門家の関与を最小限に抑え、データを公開できるように、データ収集と質問生成を自動化する。
• 参考スコア（独自算出の注目度）: 1.9389881806157316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Navigating the landscape of particle accelerators has become increasingly challenging with recent surges in contributions. These intricate devices challenge comprehension, even within individual facilities. To address this, we introduce PACuna, a fine-tuned language model refined through publicly available accelerator resources like conferences, pre-prints, and books. We automated data collection and question generation to minimize expert involvement and make the data publicly available. PACuna demonstrates proficiency in addressing intricate accelerator questions, validated by experts. Our approach shows adapting language models to scientific domains by fine-tuning technical texts and auto-generated corpora capturing the latest developments can further produce pre-trained models to answer some intricate questions that commercially available assistants cannot and can serve as intelligent assistants for individual facilities.
• Abstract（参考訳）: 粒子加速器の展望のナビゲートは、近年の貢献の急増とともにますます困難になっている。 これらの複雑なデバイスは、個々の施設内でさえ、理解に挑戦する。 カンファレンスやプレプリント,書籍など,公開されているアクセラレーションリソースを通じて洗練された,微調整された言語モデルであるpacunaを紹介する。 専門家の関与を最小限に抑え、データを公開できるように、データ収集と質問生成を自動化する。 PACunaは、専門家によって検証された複雑なアクセラレーター問題に対処する能力を示す。 提案手法は, 専門文献を微調整し, 自動生成コーパスを抽出することにより, 市販のアシスタントが個々の施設のインテリジェントアシスタントとして機能し得ない, 複雑な質問に答えるために, 事前学習されたモデルをさらに作成できることを示す。

関連論文リスト

• Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• Towards Agentic AI on Particle Accelerators [0.4893345190925178]
  本稿では,大規模言語モデル(LLM)を用いたアクセラレータ制御のための分散マルチエージェントフレームワークを構想する。 本稿では,知的エージェントがハイレベルなタスクやコミュニケーションを処理し,各エージェントが個別のアクセラレーターコンポーネントを個別に制御する自己改善型分散システムを提案する。
  論文  参考訳（メタデータ） (2024-09-10T08:47:23Z)
• Revisiting the Exit from Nuclear Energy in Germany with NLP [2.5431639270552333]
  微調整されたトランスフォーマーベースのモデルは、アノテーションタスクにおいて人間のアノテータより優れている。 コントリビューションでは、手動でアノテートされたデータセットが、今日のNLPメソッドで自動的に複製される程度について調べる。
  論文  参考訳（メタデータ） (2024-08-25T11:13:29Z)
• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• RAG-Driver: Generalisable Driving Explanations with Retrieval-Augmented In-Context Learning in Multi-Modal Large Language Model [22.25903116720301]
  説明責任は、信頼できる自律的な意思決定において重要な役割を果たす。 MLLM(Multi-Modal Large Language Model)の最近の進歩は、駆動エージェントとしての説明可能性を高める有望な可能性を示している。 提案するRAG-Driverは,高機能,説明性,一般化可能な自律運転にコンテキスト内学習を活用する,検索強化型多モード大言語モデルである。
  論文  参考訳（メタデータ） (2024-02-16T16:57:18Z)
• Using the Abstract Computer Architecture Description Language to Model AI Hardware Accelerators [77.89070422157178]
  AI統合製品の製造者は、製品のパフォーマンス要件に適合するアクセラレータを選択するという、重大な課題に直面します。 抽象コンピュータアーキテクチャ記述言語(ACADL)は、コンピュータアーキテクチャブロック図の簡潔な形式化である。 本稿では,AIハードウェアアクセラレーションのモデル化にACADLを用いること,DNNのマッピングにACADL記述を使用し,タイミングシミュレーションのセマンティクスを解説し,性能評価結果の収集を行う。
  論文  参考訳（メタデータ） (2024-01-30T19:27:16Z)
• How to Build an AI Tutor that Can Adapt to Any Course and Provide Accurate Answers Using Large Language Model and Retrieval-Augmented Generation [0.0]
  OpenAI Assistants APIにより、AI Tutorは、ファイルやチャット履歴を簡単に埋め込み、保存、検索、管理できる。 AI Tutorのプロトタイプは、ソースの引用で関連性があり正確な回答を生成する能力を示している。
  論文  参考訳（メタデータ） (2023-11-29T15:02:46Z)
• GPT4AIGChip: Towards Next-Generation AI Accelerator Design Automation via Large Language Models [32.58951432235751]
  GPT4AIGChipは、人間の自然言語を活用してAIアクセラレータ設計を民主化するためのフレームワークである。 この研究は、LLMを利用した自動AIアクセラレータ生成のための効果的なパイプラインを初めて実証したものだ。
  論文  参考訳（メタデータ） (2023-09-19T16:14:57Z)
• PlaSma: Making Small Language Models Better Procedural Knowledge Models for (Counterfactual) Planning [77.03847056008598]
  PlaSmaは、手続き的な知識と(制約のある)言語計画能力を持つ小さな言語モデルを実現するための、新しい2段階のアプローチである。 我々は,小言語モデルにおけるコモンセンス知識を高めるための記号的手続き的知識蒸留法と,より構造化された正確な推論を容易にする推論時アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-05-31T00:55:40Z)
• Automated Audio Captioning: an Overview of Recent Progress and New Challenges [56.98522404673527]
  自動音声キャプションは、与えられた音声クリップの自然言語記述を生成することを目的とした、モーダル横断翻訳タスクである。 本稿では、既存の様々なアプローチから評価指標やデータセットまで、自動音声キャプションにおけるコントリビューションの総合的なレビューを行う。
  論文  参考訳（メタデータ） (2022-05-12T08:36:35Z)
• MONAI Label: A framework for AI-assisted Interactive Labeling of 3D Medical Images [49.664220687980006]
  注釈付きデータセットの欠如は、タスク固有の教師付き機械学習モデルをトレーニングする上で、大きなボトルネックとなる。 本稿では,人工知能(AI)モデルに基づくアプリケーション開発を支援する,フリーかつオープンソースなフレームワークであるmonAI Labelを紹介する。
  論文  参考訳（メタデータ） (2022-03-23T12:33:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。