論文の概要: Unveiling LLM Mechanisms Through Neural ODEs and Control Theory

• arxiv url: http://arxiv.org/abs/2406.16985v2
• Date: Sun, 23 Feb 2025 06:03:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 22:36:55.375522
• Title: Unveiling LLM Mechanisms Through Neural ODEs and Control Theory
• Title（参考訳）: ニューラルネットワークによるLLM機構の展開と制御理論
• Authors: Yukun Zhang, Qi Dong,
• Abstract要約: 本稿では,ニューラル正規微分方程式(Neural ODE)とロバスト制御理論を組み合わせて,大規模言語モデル(LLM)の解釈可能性と制御性を高める枠組みを提案する。 実験結果から、ニューラルODEと制御理論の統合は出力の一貫性とモデルの解釈可能性を大幅に向上させ、説明可能なAI技術の開発を前進させることが示された。
• 参考スコア（独自算出の注目度）: 4.084134914321567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a framework combining Neural Ordinary Differential Equations (Neural ODEs) and robust control theory to enhance the interpretability and control of large language models (LLMs). By utilizing Neural ODEs to model the dynamic evolution of input-output relationships and introducing control mechanisms to optimize output quality, we demonstrate the effectiveness of this approach across multiple question-answer datasets. Experimental results show that the integration of Neural ODEs and control theory significantly improves output consistency and model interpretability, advancing the development of explainable AI technologies.
• Abstract（参考訳）: 本稿では,ニューラル正規微分方程式(Neural Ordinary Differential Equations,Neural ODEs)とロバスト制御理論を組み合わせて,大規模言語モデル(LLMs)の解釈可能性と制御性を高める枠組みを提案する。 ニューラルODEを用いて入力-出力関係の動的進化をモデル化し、出力品質を最適化する制御機構を導入することにより、複数の質問応答データセットにまたがるこのアプローチの有効性を実証する。 実験結果から、ニューラルODEと制御理論の統合は出力の一貫性とモデルの解釈可能性を大幅に向上させ、説明可能なAI技術の開発を前進させることが示された。

関連論文リスト

• High-order expansion of Neural Ordinary Differential Equations flows [4.4569182855550755]
  イベントグラデーション上のニューラルODEダイナミクスの厳密な数学的記述を提供する高階微分に基づくフレームワークであるイベントトランジションを紹介する。 本研究は,イベントトリガー型ニューラルディファレンス方程式のより深い理論的基礎と,複雑なシステム力学を説明する数学的構造に寄与する。
  論文  参考訳（メタデータ） (2025-04-02T08:57:34Z)
• Cognitive Activation and Chaotic Dynamics in Large Language Models: A Quasi-Lyapunov Analysis of Reasoning Mechanisms [6.375329734462518]
  本稿では,大規模言語モデルの推論機構の本質を明らかにする「認知活性化理論」を提案する。 実験により、モデルの情報の蓄積は非線形指数法則に従っており、Multilayer Perceptron (MLP) は最終的な出力においてより高い割合を占めることが示された。 本研究は, LLMの推論の解釈可能性に関するカオス理論の枠組みを提供し, モデル設計における創造性と信頼性のバランスをとるための潜在的経路を明らかにする。
  論文  参考訳（メタデータ） (2025-03-15T08:15:10Z)
• DLBacktrace: A Model Agnostic Explainability for any Deep Learning Models [1.747623282473278]
  ディープラーニングモデルは、意思決定プロセスにおける透明性が制限された不透明な'ブラックボックス'として機能する。 この研究は、AIシステムにおける解釈可能性の押し付けの必要性に対処し、信頼の育成、説明責任の確保、ミッションクリティカルな分野における責任あるデプロイメントの促進におけるその役割を強調した。 DLBacktraceは、AryaXAIチームが開発し、幅広い領域にわたるモデル決定を照らす革新的なテクニックです。
  論文  参考訳（メタデータ） (2024-11-19T16:54:30Z)
• OWLed: Outlier-weighed Layerwise Pruning for Efficient Autonomous Driving Framework [3.8320050452121692]
  本稿では,効率的な自律運転フレームワーク Outlier-Weighed Layerwise Pruning であるOWLedを紹介する。 提案手法は,外乱特性の分布に基づいて,異なる層に対して一様でない空間比を割り当てる。 圧縮モデルが自律運転タスクに適合するようにするため、運転環境データをキャリブレーションとプルーニングの両方に組み込む。
  論文  参考訳（メタデータ） (2024-11-12T10:55:30Z)
• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• Remaining Useful Life Prediction: A Study on Multidimensional Industrial Signal Processing and Efficient Transfer Learning Based on Large Language Models [6.118896920507198]
  本稿では,大言語モデル(LLM)をRUL予測に用いる革新的な回帰フレームワークを提案する。 ターボファンエンジンのRUL予測タスクの実験では、提案モデルが最先端(SOTA)法を超越していることが示されている。 微調整のための最小限のターゲットドメインデータでは、モデルは完全なターゲットドメインデータに基づいて訓練されたSOTAメソッドよりも優れている。
  論文  参考訳（メタデータ） (2024-10-04T04:21:53Z)
• Bridging Autoencoders and Dynamic Mode Decomposition for Reduced-order Modeling and Control of PDEs [12.204795159651589]
  本稿では,Ptemporals が支配する動的システムの低次モデリングと制御のための深層自己コーディング学習手法について検討する。 まず,線形オートエン縮退モデルの学習目標を定式化し,制御アルゴリズムを用いて動的モード分解により得られる結果によく似た解が得られることを示す。 次に、この線形自動符号化アーキテクチャをディープ・オートコーディング・フレームワークに拡張し、非線形低次モデルの開発を可能にする。
  論文  参考訳（メタデータ） (2024-09-09T22:56:40Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
  本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。 ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
  論文  参考訳（メタデータ） (2024-02-29T14:06:34Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Large Language Model-Based Interpretable Machine Learning Control in Building Energy Systems [3.0309252269809264]
  本稿では、モデルとその推論の透明性と理解を高める機械学習(ML)の分野である、解釈可能な機械学習(IML)について検討する。 共有価値の原則とLarge Language Models(LLMs)のコンテキスト内学習機能を組み合わせた革新的なフレームワークを開発する。 本稿では,仮想テストベッドにおける需要応答イベント下での予測制御に基づく事前冷却モデルの実現可能性を示すケーススタディを提案する。
  論文  参考訳（メタデータ） (2024-02-14T21:19:33Z)
• Controllability-Constrained Deep Network Models for Enhanced Control of Dynamical Systems [4.948174943314265]
  力学の知識を持たない力学系の制御は重要かつ困難な課題である。 ディープニューラルネットワーク(DNN)のような現代の機械学習アプローチは、制御入力と対応する状態観測出力から動的モデルの推定を可能にする。 制御性のあるデータから推定されるモデルを明確に拡張する制御理論法を提案する。
  論文  参考訳（メタデータ） (2023-11-11T00:04:26Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• DyNODE: Neural Ordinary Differential Equations for Dynamics Modeling in Continuous Control [0.0]
  本稿では,ニューラル常微分方程式の枠組みに制御を組み込むことにより,システムの基盤となる力学を捉える新しい手法を提案する。 以上の結果から,アクター批判強化学習アルゴリズムと組み合わせた単純なDyNODEアーキテクチャが,標準ニューラルネットワークより優れていることが示唆された。
  論文  参考訳（メタデータ） (2020-09-09T12:56:58Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Context-aware Dynamics Model for Generalization in Model-Based Reinforcement Learning [124.9856253431878]
  グローバルなダイナミクスモデルを学習するタスクを,(a)ローカルなダイナミクスをキャプチャするコンテキスト潜在ベクトルを学習し,(b)次に条件付き状態を予測するという2つの段階に分割する。 本研究では,コンテキスト潜在ベクトルに動的情報をエンコードするために,コンテキスト潜在ベクトルを前方と後方の両方のダイナミクスを予測するのに役立つような新しい損失関数を導入する。 提案手法は,既存のRL方式と比較して,様々なシミュレーションロボットや制御タスクの一般化能力に優れる。
  論文  参考訳（メタデータ） (2020-05-14T08:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。