論文の概要: SLIM-LLMs: Modeling of Style-Sensory Language RelationshipsThrough Low-Dimensional Representations

• arxiv url: http://arxiv.org/abs/2508.02901v1
• Date: Mon, 04 Aug 2025 21:02:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:55.681304
• Title: SLIM-LLMs: Modeling of Style-Sensory Language RelationshipsThrough Low-Dimensional Representations
• Title（参考訳）: SLIM-LLMs:低次元表現を用いたスタイル感覚言語関係のモデル化
• Authors: Osama Khalid, Sanvesh Srivastava, Padmini Srinivasan,
• Abstract要約: LIWCの低次元潜在表現r=24は知覚言語予測のためのスタイリスティックな情報を効果的に捉えていることを示す。 我々は,これらのスタイル次元間の非線形関係をモデル化するスチルメトリック・リーン解釈モデル(SLIM-LLMs)を導入する。 低ランクのLIWC機能を持つSLIM-LLMは、パラメータを最大80%削減しながら、フルスケールの言語モデルの性能にマッチする。
• 参考スコア（独自算出の注目度）: 12.75089551449979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sensorial language -- the language connected to our senses including vision, sound, touch, taste, smell, and interoception, plays a fundamental role in how we communicate experiences and perceptions. We explore the relationship between sensorial language and traditional stylistic features, like those measured by LIWC, using a novel Reduced-Rank Ridge Regression (R4) approach. We demonstrate that low-dimensional latent representations of LIWC features r = 24 effectively capture stylistic information for sensorial language prediction compared to the full feature set (r = 74). We introduce Stylometrically Lean Interpretable Models (SLIM-LLMs), which model non-linear relationships between these style dimensions. Evaluated across five genres, SLIM-LLMs with low-rank LIWC features match the performance of full-scale language models while reducing parameters by up to 80%.
• Abstract（参考訳）: 感覚言語 -- 視覚、音、触覚、味、嗅覚、インターセプションを含む私たちの感覚に結びついている言語は、経験と知覚を伝達する上で、基本的な役割を担います。 LIWCが測定したような感覚言語と従来のスタイル的特徴との関係を,R4(Reduceed-Rank Ridge Regression)アプローチを用いて検討する。 LIWC特徴量 r = 24 の低次元潜在表現は,全特徴集合 (r = 74) と比較して,知覚言語予測のためのスタイリスティックな情報を効果的にキャプチャできることを実証した。 我々は,これらのスタイル次元間の非線形関係をモデル化するスチルメトリック・リーン解釈モデル(SLIM-LLMs)を導入する。 5つのジャンルで評価され、低ランクのLIWC機能を持つSLIM-LLMは、パラメータを最大80%削減しながら、フルスケールの言語モデルの性能にマッチする。

関連論文リスト

• Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
  テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。 提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。 語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-11-04T06:07:53Z)
• Explaining Datasets in Words: Statistical Models with Natural Language Parameters [66.69456696878842]
  本稿では, クラスタリング, 時系列, 分類モデルなど, 自然言語の述語によってパラメータ化される統計モデル群を紹介する。 当社のフレームワークは、ユーザチャット対話の分類、時間の経過とともにどのように進化するかの特徴付け、一方の言語モデルが他方よりも優れているカテゴリを見つけることなど、幅広い問題に適用しています。
  論文  参考訳（メタデータ） (2024-09-13T01:40:20Z)
• LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
  テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。 以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。 具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
  論文  参考訳（メタデータ） (2024-06-24T03:36:29Z)
• Evaluating Large Language Models Using Contrast Sets: An Experimental Approach [0.0]
  本研究では,スタンフォード自然言語推論データセットのコントラストセットを生成する革新的な手法を提案する。 我々の戦略は、動詞、副詞、形容詞をその同義語と自動置換して、文の本来の意味を保存することである。 本手法は,モデルの性能が真の言語理解に基づくのか,それとも単にパターン認識に基づくのかを評価することを目的とする。
  論文  参考訳（メタデータ） (2024-04-02T02:03:28Z)
• A Quantitative Approach to Understand Self-Supervised Models as Cross-lingual Feature Extractors [9.279391026742658]
  特徴抽出器としてのモデルの性能に及ぼすモデルサイズ,トレーニング目標,モデルアーキテクチャの影響を解析する。 我々は,抽出した表現の音声情報と合成情報を測定するために,音声合成比(PSR)という新しい尺度を開発した。
  論文  参考訳（メタデータ） (2023-11-27T15:58:28Z)
• Lightweight Adaptation of Neural Language Models via Subspace Embedding [3.2634122554914002]
  本稿では,学習前の言語モデルのメモリフットプリントを最大4%の精度で削減する,新しいコンパクトな埋め込み構造を提案する。 サブスペース埋め込みは、XNLIとGLUEベンチマークスイートの言語モデルのオリジナルの埋め込みと比較して99.8%を超える圧縮率を達成する。
  論文  参考訳（メタデータ） (2023-08-16T22:16:00Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• Style-Hallucinated Dual Consistency Learning for Domain Generalized Semantic Segmentation [117.3856882511919]
  本稿では、ドメインシフトを処理するためのStyle-HAllucinated Dual consistEncy Learning(SHADE)フレームワークを提案する。 SHADEは3つの実世界のデータセットの平均mIoUに対して5.07%と8.35%の精度で改善し、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-06T02:49:06Z)
• Leveraging Advantages of Interactive and Non-Interactive Models for Vector-Based Cross-Lingual Information Retrieval [12.514666775853598]
  対話型モデルと非対話型モデルの利点を活用する新しいフレームワークを提案する。 非対話型アーキテクチャ上でモデルを構築できる半対話型機構を導入するが、各文書を関連付けられた多言語クエリと共にエンコードする。 本手法は,計算効率を維持しながら検索精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-03T03:03:19Z)
• Examination and Extension of Strategies for Improving Personalized Language Modeling via Interpolation [59.35932511895986]
  我々は,グローバルLSTMベースのオーサリングモデルをユーザ個人化n-gramモデルで補間することにより,ユーザレベルでのオフラインメトリクスの改善を示す。 利用者の80%以上がパープレキシティのリフトを受けており、ユーザー当たり平均5.2%がパープレキシティのリフトを受け取っている。
  論文  参考訳（メタデータ） (2020-06-09T19:29:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。