論文の概要: Towards Locally Deployable Fine-Tuned Causal Large Language Models for Mode Choice Behaviour

• arxiv url: http://arxiv.org/abs/2507.21432v1
• Date: Tue, 29 Jul 2025 02:03:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:55.547334
• Title: Towards Locally Deployable Fine-Tuned Causal Large Language Models for Mode Choice Behaviour
• Title（参考訳）: モード選択行動のための局所展開可能な微調整因果大言語モデルを目指して
• Authors: Tareq Alsaleh, Bilal Farooq,
• Abstract要約: 本研究では,移動モード選択予測のためのオープンアクセス型ローカル展開型因果大言語モデル (LLM) の導入について検討した。 提案した3つの選好データセットに対して11のLCMをベンチマークし,396の設定をテストし,79,000以上の合成通勤予測を生成した。 LiTransMCはパラメータ効率と損失マスキング戦略で微調整され、重み付きF1スコアは0.6845、ジェンセン=シャノンディバージェンスは0.000245に達した。
• 参考スコア（独自算出の注目度）: 4.378407481656902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study investigates the adoption of open-access, locally deployable causal large language models (LLMs) for travel mode choice prediction and introduces LiTransMC, the first fine-tuned causal LLM developed for this task. We systematically benchmark eleven LLMs (1-12B parameters) across three stated and revealed preference datasets, testing 396 configurations and generating over 79,000 synthetic commuter predictions. Beyond predictive accuracy, we evaluate models generated reasoning using BERTopic for topic modelling and a novel Explanation Strength Index, providing the first structured analysis of how LLMs articulate decision factors in alignment with behavioural theory. LiTransMC, fine-tuned using parameter efficient and loss masking strategy, achieved a weighted F1 score of 0.6845 and a Jensen-Shannon Divergence of 0.000245, surpassing both untuned local models and larger proprietary systems, including GPT-4o with advanced persona inference and embedding-based loading, while also outperforming classical mode choice methods such as discrete choice models and machine learning classifiers for the same dataset. This dual improvement, i.e., high instant-level accuracy and near-perfect distributional calibration, demonstrates the feasibility of creating specialist, locally deployable LLMs that integrate prediction and interpretability. Through combining structured behavioural prediction with natural language reasoning, this work unlocks the potential for conversational, multi-task transport models capable of supporting agent-based simulations, policy testing, and behavioural insight generation. These findings establish a pathway for transforming general purpose LLMs into specialized, explainable tools for transportation research and policy formulation, while maintaining privacy, reducing cost, and broadening access through local deployment.
• Abstract（参考訳）: 本研究では,移動モード選択予測のためのオープンアクセス型ローカルデプロイ型因果大言語モデル (LLM) の導入について検討し,このタスクのために開発された最初の微調整型因果LLMであるLiTransMCを紹介した。 提案した3つの選好データセットに対して11個のLSM(1-12Bパラメータ)を体系的にベンチマークし,396構成をテストし,79,000以上の合成通勤予測を生成した。 予測精度の他に,話題モデリングのためのBERTopicを用いたモデル生成推論や,新しい説明力指標(Explaination Strength Index)を評価し,LCMが行動理論と整合した決定因子をどのように表現するかを初めて構造化した分析を行った。 LiTransMCはパラメータ効率と損失マスキング戦略を用いて微調整され、重み付きF1スコア0.6845とJensen-Shannonディバージェンス0.000245を達成した。 この二重改善、すなわち、高い瞬間レベルの精度とほぼ完璧な分布キャリブレーションは、予測と解釈性を統合する、専門的なローカルデプロイ可能なLCMを作成する可能性を示している。 この研究は、構造化された行動予測と自然言語推論を組み合わせることで、エージェントベースのシミュレーション、ポリシーテスト、行動洞察生成をサポートすることができる対話型マルチタスクトランスポートモデルの可能性を解き放つ。 これらの知見は,一般目的のLCMを,プライバシの維持,コストの削減,地域展開によるアクセスの拡大を図りながら,交通研究・政策策定のための専門的で説明可能なツールに転換する道筋を確立した。

関連論文リスト

• Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models [68.57424628540907]
  大規模言語モデル(LLM)は、しばしば特定のデータセットに特化した学習メカニズムを開発する。 本稿では,データセット固有のメカニズムに関連するニューロンの同定と解析により,一般化の促進を目的とした微調整手法を提案する。 本手法では,各ニューロンの高信頼度予測への影響を定量化するため,データセット固有の性能に不均等に寄与するニューロンを同定する。
  論文  参考訳（メタデータ） (2025-07-12T08:10:10Z)
• Aligning LLM with human travel choices: a persona-based embedding learning approach [15.11130742093296]
  本稿では,大規模言語モデルと人間の旅行選択行動の整合性を示す新しい枠組みを提案する。 我々のフレームワークは、パーソナ推論とロードプロセスを使用して、アライメントを強化するのに適したプロンプトでLLMを条件付けします。
  論文  参考訳（メタデータ） (2025-05-25T06:54:01Z)
• Can LLMs Assist Expert Elicitation for Probabilistic Causal Modeling? [0.0]
  本研究では,構造化因果知識を抽出するための人間専門家の勧誘の代替として,Large Language Models (LLMs) の可能性について検討する。 LLMは因果構造、特にベイズネットワーク(BN)を生成し、従来の統計手法と比較した。 LLMが生成したBNは、専門家によって導かれ統計的に生成されたBNよりも低いエントロピーを示し、予測の信頼性と精度が示唆された。
  論文  参考訳（メタデータ） (2025-04-14T16:45:52Z)
• Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
  本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。 提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
  論文  参考訳（メタデータ） (2025-04-02T20:33:27Z)
• A Foundational individual Mobility Prediction Model based on Open-Source Large Language Models [1.124958340749622]
  大規模言語モデル(LLM)はドメイン固有のタスクに広く適用されている。 本稿では,基盤となるオープンソースのLCMに基づくモビリティ予測モデルをトレーニングするための,統一的な微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-19T15:08:37Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
  ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• Making Large Language Models Better Planners with Reasoning-Decision Alignment [70.5381163219608]
  マルチモーダリティ強化LLMに基づくエンドツーエンド意思決定モデルを提案する。 ペア化されたCoTと計画結果との推論・決定アライメントの制約を提案する。 提案する大規模言語プランナをRDA-Driverとして推論・決定アライメントする。
  論文  参考訳（メタデータ） (2024-08-25T16:43:47Z)
• The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities [0.35998666903987897]
  本稿では,Large Language Models (LLM) の微調整について検討する。 従来の自然言語処理(NLP)モデルから、AIにおける彼らの重要な役割まで、LLMの歴史的進化を概説している。 本報告では, 微調整LDMのための構造化7段パイプラインについて紹介する。
  論文  参考訳（メタデータ） (2024-08-23T14:48:02Z)
• Enhancing Travel Choice Modeling with Large Language Models: A Prompt-Learning Approach [6.913791588789051]
  本稿では,予測精度を大幅に向上させ,個々の予測に対して明確な説明を提供する,プロンプト学習に基づく大規模言語モデル(LLM)フレームワークを提案する。 スイスで収集されたLondon Passenger Mode Choice(LPMC)とOptima-Mode(Optima-Mode)の2つの選択肢データセットを用いて,フレームワークの有効性を検証した。 その結果,LLMは人々の選択を予測する上で,最先端のディープラーニング手法や個別選択モデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-06-19T13:46:08Z)
• Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
  言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。 我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:56Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。