論文の概要: TraMP-LLaMA: Generative Interpretability with Decoupled Instruction Tuning for Facial Expression Quality Assessment

• arxiv url: http://arxiv.org/abs/2606.26942v1
• Date: Thu, 25 Jun 2026 12:15:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.279644
• Title: TraMP-LLaMA: Generative Interpretability with Decoupled Instruction Tuning for Facial Expression Quality Assessment
• Title（参考訳）: TraMP-LLaMA: 表情品質評価のためのデカップリングインストラクションチューニングによる生成的解釈可能性
• Abstract要約: TraMP-LLaMAは、重度スコアを共同で予測し、顔の動きの手がかりから構造化されたテキストレポートを生成する統合マルチモーダルフレームワークである。 PFED5+の実験では、TraMP-LLaMAはレポート生成において競合するビデオ言語ベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 16.96263599952435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing facial expression quality assessment (FEQA) methods typically produce only a severity score, without explicitly communicating the observable facial motion evidence that supports the prediction. This limits interpretability and makes it difficult to inspect the basis of model outputs in Parkinson's disease assessment. To address this gap, we propose TraMP-LLaMA, a unified multimodal framework that jointly predicts severity scores and generates structured textual reports from facial motion cues. The framework integrates RGB appearance and landmark trajectory cues, and adopts a decoupled instruction-tuning strategy to reduce task interference between severity prediction and language generation. To support this task, we further extend the PFED5 dataset with expert-guided textual motion descriptions and construct PFED5-plus. Experiments on PFED5-plus show that TraMP-LLaMA outperforms competitive video-language baselines in report generation and achieves the best severity prediction performance among the compared methods under joint multi-expression training, improving Spearman's rank correlation by at least 4.39 percent over all competing methods. The text annotations and code are available at https://github.com/shuchaoduan/TraMP-LLaMA.
• Abstract（参考訳）: 既存の表情品質評価法(FEQA)は、予測を支持する観察可能な顔の動き証拠を明示的に伝えることなく、重度スコアのみを生成するのが一般的である。 これは解釈可能性を制限するものであり、パーキンソン病の評価におけるモデルアウトプットの基盤を検査することが困難になる。 このギャップに対処するために,顔の動きの手がかりから重大度スコアを共同で予測し,構造化されたテキストレポートを生成する,統合型マルチモーダルフレームワークTraMP-LLaMAを提案する。 このフレームワークは、RGBの外観とランドマークの軌跡を統合し、重大度予測と言語生成の間のタスク干渉を減らすために、分離された命令調整戦略を採用する。 このタスクを支援するために、専門家によるテキストによる動作記述によるPFED5データセットをさらに拡張し、PFED5+を構築する。 PFED5-plusの実験では、TraMP-LLaMAはレポート生成において競争力のあるビデオ言語ベースラインよりも優れており、共同マルチ圧縮トレーニングにおける比較手法の中で最高の重症度予測性能を達成し、競合するすべての手法に対して少なくとも4.39パーセントのSpearmanのランク相関を向上している。 テキストアノテーションとコードはhttps://github.com/shuchaoduan/TraMP-LLaMAで公開されている。

関連論文リスト

• Rethinking Message Passing as Retrieval for Text-Attributed Graph Learning [63.602658976990874]
  グラフニューラルネットワーク(GNN)は通常、メッセージパッシングニューラルネットワークとして概念化されている。 本稿では,GNNの検索拡張ビューについて述べる。各レイヤは,検索したグラフコンテキストの置換インサマリとともに,ノード表現に変分を適用して予測を行う。 この観点から、構造的メッセージパッシングをラベル認識検索と伝搬に置き換えるシンプルな集約ベースのフレームワークであるRTAを提案する。
  論文  参考訳（メタデータ） (2026-08-27T07:25:44Z)
• Enhancing Action and Ingredient Modeling for Semantically Grounded Recipe Generation [69.90401008542368]
  命令生成のための内部コンテキストとして,アクションや材料を予測し,検証する意味的基盤を持つフレームワークを提案する。 Recipe1Mの実験は最先端の性能を示し、セマンティックな忠実さを著しく改善した。
  論文  参考訳（メタデータ） (2026-01-26T10:06:18Z)
• REVEALER: Reinforcement-Guided Visual Reasoning for Element-Level Text-Image Alignment Evaluation [10.151027538362259]
  REVEALERは、強化誘導視覚推論に基づく要素レベルのアライメント評価のための統一的なフレームワークである。 提案手法は,MLLM(Multimodal Large Language Models)を用いて意味的要素を明示的にローカライズし,解釈可能なアライメント判断を導出する。
  論文  参考訳（メタデータ） (2025-12-29T03:24:09Z)
• Reasoning-Driven Amodal Completion: Collaborative Agents and Perceptual Evaluation [17.405818788700234]
  本稿では,視覚合成から意味的計画を明確に分離する協調的マルチエージェント推論フレームワークを提案する。 提案手法は,画素生成前の構造的,明示的なプランを生成し,視覚的,意味的に整合した単一パス合成を可能にする。 従来の評価基準の限界に対処し,新しい人間対応評価指標MAC-Scoreを導入する。
  論文  参考訳（メタデータ） (2025-12-24T04:39:45Z)
• TIP and Polish: Text-Image-Prototype Guided Multi-Modal Generation via Commonality-Discrepancy Modeling and Refinement [6.795398125733378]
  既存の手法は、モデム間のミスマッチに悩まされ、共通性と不一致の明確なモデリングが欠如している。 我々は、明示的な入力モデリングと包括的な最適化目的を持つフレームワーク、textbftextitTIPPoを提案する。 自動評価におけるtextbftextitTIPPoの有望な性能とLCMに基づく創造性と意味的一貫性の基準を示す実験結果を得た。
  論文  参考訳（メタデータ） (2025-11-12T07:16:19Z)
• Context-level Language Modeling by Learning Predictive Context Embeddings [79.00607069677393]
  textbfContextLMは、固有のtextbfnext-context予測目標で標準事前学習を強化するフレームワークである。 このメカニズムは、将来のトークンチャンクから派生したエラー信号を利用して、マルチトークンコンテキストの予測表現を学ぶようモデルを訓練する。 GPT2およびPythiaモデルファミリーの実験では、1.5ドルBのパラメータまでスケールし、ContextLMがパープレキシティとダウンストリームのタスクパフォーマンスの両方で一貫した改善を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-23T07:09:45Z)
• Perception-Consistency Multimodal Large Language Models Reasoning via Caption-Regularized Policy Optimization [72.30168853571216]
  マルチモーダルな言語モデルは、視覚知覚と象徴的推論を統合するタスクに優れています。 CapPO は,(1) 原画像上の条件付き応答とキャプション上の条件付き応答のばらつきを最小限に抑えるキャプションベース整合性正規化,(2) KL 重み付き優位性推定スキームを適応的に拡張して知覚整合性トラジェクトリを強化するキャプションベース整合性正規化という2つの重要なメカニズムを統合した。
  論文  参考訳（メタデータ） (2025-09-26T04:32:26Z)
• Understanding GUI Agent Localization Biases through Logit Sharpness [15.986679553468989]
  MLLM(Multimodal large language model)は、GUIエージェントが言語を空間的アクションにグラウンドすることでオペレーティングシステムと対話することを可能にする。 有望な性能にもかかわらず、これらのモデルはしばしば、信頼性を損なう幻覚的局所化誤差を示す。 モデル予測を4つの異なるタイプに分類し,従来の精度測定値を超える不確実な障害モードを明らかにするための,きめ細かい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-18T12:55:35Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• Multi-task Visual Grounding with Coarse-to-Fine Consistency Constraints [15.541287957548771]
  本稿では,粗大な一貫性制約を持つビジュアルグラウンドアーキテクチャを提案する。 暗黙的かつ明示的なモデリングアプローチを2段階のフレームワークに統合する。 最先端のREC法とRIS法を実質的なマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2025-01-12T04:30:13Z)
• Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
  Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。 本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。 また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
  論文  参考訳（メタデータ） (2024-06-19T16:42:57Z)
• Improving Non-autoregressive Machine Translation with Error Exposure and Consistency Regularization [13.38986769508059]
  Conditional Masked Language Model (CMLM) はマスク付き低信頼トークンを再予測するためにマスク予測パラダイムを採用する。 CMLMは、トレーニングと推論の間のデータ分散の相違に悩まされる。 トレーニング中のモデル予測に基づいて混合シーケンスを構築し,不完全な観測条件下でのマスクトークンの最適化を提案する。
  論文  参考訳（メタデータ） (2024-02-15T05:35:04Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
  深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。 本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。 複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
  論文  参考訳（メタデータ） (2020-03-31T22:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。