論文の概要: AviationLLM: An LLM-based Knowledge System for Aviation Training

• arxiv url: http://arxiv.org/abs/2506.14336v1
• Date: Tue, 17 Jun 2025 09:20:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.405882
• Title: AviationLLM: An LLM-based Knowledge System for Aviation Training
• Title（参考訳）: AviationLLM:航空訓練のためのLLMベースの知識システム
• Authors: Jia'ang Wan, Feng Shen, Fujuan Li, Yanjin Sun, Yan Li, Shiwen Zhang,
• Abstract要約: 本稿では、直接選好最適化(RALA-DPO)による検索型LLMアライメントを提案する。 我々は、オープンソースで事前訓練されたLLM Qwenを選択し、DPOベースのドメインアライメントによる航空理論のトレーニングに適応する。 統合されたRAG機構により、回答の精度をさらに向上し、ゼロコストの知識更新を同時に達成することができる。
• 参考スコア（独自算出の注目度）: 3.488721618572475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aviation training is a core link in ensuring flight safety, improving industry efficiency and promoting sustainable development. It not only involves flight simulation but also requires the learning of a great deal of professional aviation theory knowledge. In the existing training system, the knowledge is mainly imparted by the the instructors. However, the number of instructors is limited and the professional answers obtained from the Internet are not accurate enough, resulting in low training efficiency. To address this, we introduced LLM, but the basic pre-trained model cannot provide accurate answers to professional fields, so we fine-tuned it. Traditional Supervised Fine-Tuning (SFT) risk generating superficially plausible but factually incorrect responses due to insufficient data coverage. To address this, we employ Direct Preference Optimization(DPO). This paper proposes Retrieval-Augmented LLM Alignment via Direct Preference Optimization(RALA-DPO). We select open source pre-trained LLM Qwen and adapt it to aviation theory training through DPO-based domain alignment. Simultaneously, to mitigate hallucinations caused by training data biases, knowledge obsolescence, or domain knowledge gaps, we implement Retrieval-Augmented Generation(RAG) technology that combines generative and retrieval models. RALA-DPO effectively retrieves relevant information from external knowledge bases and delivers precise and high-quality responses through the generative model. Experimental results demonstrate that RALA-DPO can improve accuracy in response to professional aviation knowledge. With integrated RAG mechanisms, this system can further improve the accuracy of answers and achieve zero-cost knowledge updates simultaneously.
• Abstract（参考訳）: 航空訓練は、飛行安全性を確保し、産業効率を改善し、持続可能な開発を促進するための中核的なリンクである。 飛行シミュレーションだけでなく、プロの航空理論の知識の習得も必要だ。 既存の研修システムでは、主にインストラクターが知識を付与する。 しかし、インストラクターの数は限られており、インターネットから得られる専門的回答は十分に正確ではないため、訓練効率は低い。 この問題に対処するため,我々はLLMを導入したが,基礎的な事前学習モデルでは専門分野への正確な回答が得られず,微調整を行った。 従来のSupervised Fine-Tuning (SFT) は、データカバレッジが不十分なため、表向きはもっともだが、実際には正しくない応答を生成する。 この問題に対処するため、我々はDPO(Direct Preference Optimization)を採用する。 本稿では,直接選好最適化(RALA-DPO)を用いた検索型LLMアライメントを提案する。 我々は、オープンソースで事前訓練されたLLM Qwenを選択し、DPOベースのドメインアライメントによる航空理論のトレーニングに適応する。 同時に、学習データバイアス、知識の陳腐化、ドメイン知識ギャップによる幻覚を軽減するために、生成モデルと検索モデルを組み合わせた検索型生成(RAG)技術を実装した。 RALA-DPOは、外部知識ベースから関連情報を効果的に取得し、生成モデルを通じて正確で高品質な応答を提供する。 実験の結果,ALA-DPOは専門的な航空知識に応えて精度を向上できることが示された。 統合されたRAG機構により、回答の精度をさらに向上し、ゼロコストの知識更新を同時に達成することができる。

関連論文リスト

• Training LLM-Based Agents with Synthetic Self-Reflected Trajectories and Partial Masking [61.61356842567952]
  LLMに基づくエージェントトレーニングを改善するための新しい手法STePを提案する。 誤差ステップの反射や補正を含む自己反射軌道を合成する。 実験により,提案手法は3つの代表的なタスクにおいてエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2025-05-26T14:11:12Z)
• Bridging Supervised Learning and Reinforcement Learning in Math Reasoning [55.889740979706815]
  強化学習(Reinforcement Learning, RL)は、二分検証信号による自己改善を可能にすることで、近年の数学能力の急上昇において中心的な役割を担っている。 本研究は,LLMが障害を反映し,外部教師なしで自律的に改善できる教師型アプローチである負認識ファインチューニング(NFT)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T17:17:40Z)
• How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? [55.33467849079774]
  ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。 これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
  論文  参考訳（メタデータ） (2025-02-20T12:31:03Z)
• LLM Alignment as Retriever Optimization: An Information Retrieval Perspective [44.26715637344781]
  大規模言語モデル(LLM)は、推論、コーディング、コミュニケーションの能力を備えた人工知能に革命をもたらした。 我々の研究は、確立された情報検索(IR)の原則に基づいて、LCMアライメントのための新しい直接最適化手法を導入する。 本稿では,LLMアライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント(LarPO)を提案する。
  論文  参考訳（メタデータ） (2025-02-06T01:22:06Z)
• Adaptive Rank, Reduced Forgetting: Knowledge Retention in Continual Learning Vision-Language Models with Dynamic Rank-Selective LoRA [19.982853959240497]
  CLIPのような事前学習型視覚言語埋め込みモデルは、継続学習(CL)において広く採用され、検証されている。 既存のCL法は主に、事前学習モデル(PTM)から分離されたコンポーネントを用いた連続的な下流適応に焦点を当てている。 動的ランク選択ロラ(CoDyRA)に基づくCLIPの汎用的で効率的なCLアプローチを提案する。
  論文  参考訳（メタデータ） (2024-12-01T23:41:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。