Fugu-MT 論文翻訳(概要): Unveiling LLM Mechanisms Through Neural ODEs and Control Theory

論文の概要: Unveiling LLM Mechanisms Through Neural ODEs and Control Theory

arxiv url: http://arxiv.org/abs/2406.16985v2
Date: Sun, 23 Feb 2025 06:03:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-25 15:51:02.277457
Title: Unveiling LLM Mechanisms Through Neural ODEs and Control Theory
Title（参考訳）: ニューラルネットワークによるLLM機構の展開と制御理論
Authors: Yukun Zhang, Qi Dong,
Abstract要約: 本稿では,ニューラル正規微分方程式(Neural ODE)とロバスト制御理論を組み合わせて,大規模言語モデル(LLM)の解釈可能性と制御性を高める枠組みを提案する。実験結果から、ニューラルODEと制御理論の統合は出力の一貫性とモデルの解釈可能性を大幅に向上させ、説明可能なAI技術の開発を前進させることが示された。
参考スコア（独自算出の注目度）: 4.084134914321567
License:
Abstract: This paper proposes a framework combining Neural Ordinary Differential Equations (Neural ODEs) and robust control theory to enhance the interpretability and control of large language models (LLMs). By utilizing Neural ODEs to model the dynamic evolution of input-output relationships and introducing control mechanisms to optimize output quality, we demonstrate the effectiveness of this approach across multiple question-answer datasets. Experimental results show that the integration of Neural ODEs and control theory significantly improves output consistency and model interpretability, advancing the development of explainable AI technologies.
Abstract（参考訳）: 本稿では,ニューラル正規微分方程式(Neural Ordinary Differential Equations,Neural ODEs)とロバスト制御理論を組み合わせて,大規模言語モデル(LLMs)の解釈可能性と制御性を高める枠組みを提案する。ニューラルODEを用いて入力-出力関係の動的進化をモデル化し、出力品質を最適化する制御機構を導入することにより、複数の質問応答データセットにまたがるこのアプローチの有効性を実証する。実験結果から、ニューラルODEと制御理論の統合は出力の一貫性とモデルの解釈可能性を大幅に向上させ、説明可能なAI技術の開発を前進させることが示された。

関連論文リスト

Enhancing Semantic Consistency of Large Language Models through Model Editing: An Interpretability-Oriented Approach [28.07366458452159]
大規模言語モデル(LLM)は、等価な意味を持つプロンプトが提示されるが、元のプロンプトとは異なる形で表現されるとき、矛盾する出力を生成する。 LLMのセマンティック一貫性を達成するために、重要なアプローチの1つは、セマンティックに等価な意味を持つプロンプトとアウトプットのペアでモデルを微調整することである。 LLMのセマンティック一貫性を高めるために,より解釈可能な手法(モデル編集)を提案する。
論文参考訳（メタデータ） (2025-01-19T13:26:15Z)
LF-Steering: Latent Feature Activation Steering for Enhancing Semantic Consistency in Large Language Models [16.37602070339033]
LLM(Large Language Models)は、意味的に等価なパラフレーズ入力によって、しばしば一貫性のない応答を生成する。セマンティック不整合の原因となる潜在特徴表現を正確に識別する新しいアクティベーションステアリング手法LF-ステアリングを提案する。本手法は, 関連トランス層の隠蔽状態をスパースオートエンコーダに基づいて, 疎活性化された高次元特徴空間にマッピングする。
論文参考訳（メタデータ） (2025-01-19T13:06:51Z)
SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。コードとモデルはリリースされます。
論文参考訳（メタデータ） (2024-12-12T18:59:26Z)
Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
論文参考訳（メタデータ） (2024-10-07T23:38:58Z)
Remaining Useful Life Prediction: A Study on Multidimensional Industrial Signal Processing and Efficient Transfer Learning Based on Large Language Models [6.118896920507198]
本稿では,大言語モデル(LLM)をRUL予測に用いる革新的な回帰フレームワークを提案する。ターボファンエンジンのRUL予測タスクの実験では、提案モデルが最先端(SOTA)法を超越していることが示されている。微調整のための最小限のターゲットドメインデータでは、モデルは完全なターゲットドメインデータに基づいて訓練されたSOTAメソッドよりも優れている。
論文参考訳（メタデータ） (2024-10-04T04:21:53Z)
Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
論文参考訳（メタデータ） (2024-08-17T11:49:53Z)
CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。そこで本研究では,学習バランスを定量的に評価する尺度を提案する。さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
論文参考訳（メタデータ） (2024-07-29T23:18:55Z)
DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
論文参考訳（メタデータ） (2024-06-07T19:38:05Z)
Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
論文参考訳（メタデータ） (2024-02-29T14:06:34Z)
Large Language Model-Based Interpretable Machine Learning Control in Building Energy Systems [3.0309252269809264]
本稿では、モデルとその推論の透明性と理解を高める機械学習(ML)の分野である、解釈可能な機械学習(IML)について検討する。共有価値の原則とLarge Language Models(LLMs)のコンテキスト内学習機能を組み合わせた革新的なフレームワークを開発する。本稿では,仮想テストベッドにおける需要応答イベント下での予測制御に基づく事前冷却モデルの実現可能性を示すケーススタディを提案する。
論文参考訳（メタデータ） (2024-02-14T21:19:33Z)
SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
論文参考訳（メタデータ） (2023-10-09T17:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。