論文の概要: Concept Attractors in LLMs and their Applications

• arxiv url: http://arxiv.org/abs/2601.11575v1
• Date: Tue, 30 Dec 2025 11:53:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.766394
• Title: Concept Attractors in LLMs and their Applications
• Title（参考訳）: LLMにおけるコンセプト・トラクターとその応用
• Authors: Sotirios Panagiotis Chytas, Vikas Singh,
• Abstract要約: 大規模言語モデル(LLM)は、しばしば意味的に関連するプロンプトを特定の層における同様の内部表現にマッピングする。 この動作は、レイヤが概念固有のトラクターに対するコントラクトマッピングとして機能するIFS(Iterated Function Systems)を通して説明できることを示す。 本研究では,これらのトラクタを直接操作し,多岐にわたる実践的課題を解決するための,単純で訓練不要な手法を開発した。
• 参考スコア（独自算出の注目度）: 22.828082508171857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often map semantically related prompts to similar internal representations at specific layers, even when their surface forms differ widely. We show that this behavior can be explained through Iterated Function Systems (IFS), where layers act as contractive mappings toward concept-specific Attractors. We leverage this insight and develop simple, training-free methods that operate directly on these Attractors to solve a wide range of practical tasks, including language translation, hallucination reduction, guardrailing, and synthetic data generation. Despite their simplicity, these Attractor-based interventions match or exceed specialized baselines, offering an efficient alternative to heavy fine-tuning, generalizable in scenarios where baselines underperform.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば意味的に関連するプロンプトを特定の層で類似した内部表現にマッピングする。 この動作は、レイヤが概念固有のトラクターに対するコントラクトマッピングとして機能するIFS(Iterated Function Systems)を通して説明できることを示す。 この知見を活用して,言語翻訳,幻覚の低減,ガードレール,合成データ生成など,多岐にわたる実践的課題を解決するために,これらのトラクタ上で直接動作可能な,シンプルでトレーニング不要な手法を開発した。 その単純さにもかかわらず、これらのAttractorベースの介入は、特定のベースラインにマッチするか、あるいは超過し、ベースラインが性能の低いシナリオで一般化可能な、重い微調整に代わる効率的な代替手段を提供する。

関連論文リスト

• From What to Why: Thought-Space Recommendation with Small Language Models [2.134948383299948]
  大規模言語モデル(LLM)は推論の強化を通じて高度なレコメンデーション機能を備えているが、実際のデプロイメントには大きな課題がある。 SLM(Small Language Models)は効率的な代替手段を提供するが、推奨する推論機能は未検討のままである。 PULSE(Preference Understanding by Latent Semantic Embeddings)は,SLM生成論理をディレクター学習信号として扱うフレームワークである。
  論文  参考訳（メタデータ） (2025-10-08T11:22:26Z)
• Bridge Thinking and Acting: Unleashing Physical Potential of VLM with Generalizable Action Expert [60.88976842557026]
  VLM(Vision-Language Models)は、優れた計画と推論能力を示している。 最近の二重系アプローチは「思考」と「行動」を分離しようとする 一般化可能なアクションエキスパートを中心としたフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-10-04T18:33:27Z)
• SignalLLM: A General-Purpose LLM Agent Framework for Automated Signal Processing [36.22027224597969]
  大規模言語モデル(LLM)は、強力な推論能力、幅広い汎用知識、文脈内学習、モーダル間伝達能力を提供する。 本稿では,SPタスクのための汎用LLMベースのエージェントフレームワークであるSignalLLMを紹介する。 コミュニケーションとセンシングにおける5つの代表的なタスクを通して,SignalLLMの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2025-09-21T18:54:54Z)
• Analyzing Finetuning Representation Shift for Multimodal LLMs Steering [56.710375516257876]
  隠れた状態を解釈可能な視覚的概念とテキスト的概念にマッピングすることを提案する。 これにより、オリジナルモデルや微調整モデルからのシフトなど、特定のセマンティックダイナミクスをより効率的に比較することが可能になります。 また,これらの変化を捉えるためにシフトベクトルを用いることを実証する。
  論文  参考訳（メタデータ） (2025-01-06T13:37:13Z)
• Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。 本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• EAGLE: Towards Efficient Arbitrary Referring Visual Prompts Comprehension for Multimodal Large Language Models [80.00303150568696]
  本稿では,既存のアプローチよりもトレーニングの少ない任意の参照視覚的プロンプトの理解を促進するための,MLLM(Multimodal Large Language Models)を提案する。 本手法は,視覚的プロンプトを,MLLMに理解可能な特定の空間領域を伝達する空間概念として応用する。 我々はまた、MLLMの領域レベルの理解を視覚的プロンプトを参照する特定の形式にさらに引き離すための幾何非依存学習パラダイム(GAL)を提案する。
  論文  参考訳（メタデータ） (2024-09-25T08:22:00Z)
• Demystifying Embedding Spaces using Large Language Models [26.91321899603332]
  本稿では,埋め込みをより解釈しやすく,広く活用する上での課題に対処する。 埋め込みを直接操作するためにLarge Language Models(LLMs)を用いることで、抽象ベクトルを理解可能な物語に変換する。 提案手法は,概念アクティベーションベクトル(CAV)の強化,新しい組み込みエンティティの通信,レコメンデーションシステムにおけるユーザの好みのデコードなど,多種多様なタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-06T05:27:28Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。