論文の概要: Towards Effective Theory of LLMs: A Representation Learning Approach

• arxiv url: http://arxiv.org/abs/2605.09294v1
• Date: Sun, 10 May 2026 03:42:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.172646
• Title: Towards Effective Theory of LLMs: A Representation Learning Approach
• Title（参考訳）: LLMの効果的理論に向けて:表現学習アプローチ
• Authors: Muhammed Ustaomeroglu, Guannan Qu,
• Abstract要約: RETは、BYOL/JEPAスタイルの自己教師対象を用いて、隠れ状態の軌跡からマクロステートを学習する。 これらのマクロが解釈可能性に実際に関係しているかどうかを評価する。
• 参考スコア（独自算出の注目度）: 6.495737609776765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Representational Effective Theory (RET), a framework for describing large language model computation in terms of learned macrostates rather than microscopic details. RET learns these macrostates from hidden-state trajectories using a BYOL/JEPA-style self-supervised objective, coarse-graining activations into macrovariables that preserve higher-level structure relevant for prediction and interpretation. We evaluate whether these macrovariables are practically relevant for interpretability: RET yields temporally consistent states that reveal "mental-state" trajectories of reasoning, capture high-level semantic structure, support early prediction of behavioral outcomes such as sycophancy, and provide causal handles for steering generations toward interpretable computational phases. Together, these results suggest that LLM computation admits useful effective descriptions via RET: high-level, dynamically meaningful variables that support interpretation, prediction, and intervention.
• Abstract（参考訳）: 本稿では,大規模言語モデル計算を微視的詳細ではなく,学習マクロ状態の観点から記述するフレームワークであるRepresentational Effective Theory(RET)を提案する。 RETは、これらのマクロステートを、BYOL/JEPAスタイルの自己教師対象を用いて隠された状態軌道から学習し、粗粒化活性化をマクロ変数に変換し、予測と解釈に関連する高レベルな構造を保存する。 RETは、時間的に一貫した状態を示し、推論の「メンタルステート」な軌道を示し、高いレベルの意味構造を捉え、サイコファシーのような行動結果の早期予測をサポートし、解釈可能な計算フェーズに向けて世代を操るための因果ハンドルを提供する。 これらの結果は,解釈,予測,介入を支援する高レベルかつ動的に有意な変数であるRETを用いて,LLM計算が有効な記述を実現することを示唆している。

関連論文リスト

• Evaluating the Formal Reasoning Capabilities of Large Language Models through Chomsky Hierarchy [62.32144504442516]
  SOTA LLMが形式言語の構造的・階層的複雑性を把握できるかどうかは不明である。 ChomskyBench はchomsky Hierarchy のレンズを通して LLM を体系的に評価するためのベンチマークである。 ChomskyBenchは、各レベルで機能をテストするように設計された、言語認識と生成タスクの包括的なスイートで構成されている。
  論文  参考訳（メタデータ） (2026-04-03T04:06:39Z)
• Improving Implicit Discourse Relation Recognition with Natural Language Explanations from LLMs [6.696390269864987]
  Implicit Discourse Relation Recognition (IDRR) は、深い意味理解を必要とするため、依然として困難な課題である。 大規模言語モデル(LLM)の最近の進歩は、深い言語理解と自然言語説明の生成において強力な推論能力を示している。 本稿では, LLMの推論能力を軽量IDRRモデルに抽出し, 性能と解釈性の両方を改善するための, 簡便かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2026-02-25T10:28:45Z)
• On Theoretically-Driven LLM Agents for Multi-Dimensional Discourse Analysis [0.0]
  本稿では,この課題に明示的な理論的知識を取り入れることのメリットを定量化するために,比較マルチエージェントフレームワークを提案する。 我々は、注釈付き政治討論のデータセットを利用して、4つの異なる言い換え機能を含む新しい標準を確立する。 我々は,2つの並列LLMエージェントシステムの評価を行った。1つはRetrieval-Augmented Generation (RAG)による議論理論により強化され,もう1つはゼロショットベースラインである。
  論文  参考訳（メタデータ） (2026-02-14T10:30:39Z)
• UniMo: Unified Motion Generation and Understanding with Chain of Thought [18.404131357169657]
  UniMoは、動き言語情報と解釈可能な思考の連鎖(CoT)を大きな言語モデルに統合する新しいフレームワークである。 動作生成と理解の両方において、UniMoは既存の統合モデルとタスク固有モデルを大幅に上回っており、最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2026-01-17T17:56:49Z)
• GLOW: Graph-Language Co-Reasoning for Agentic Workflow Performance Prediction [51.83437071408662]
  本稿では,AW性能予測のための統合フレームワークGLOWを提案する。 GLOWは、GNNのグラフ構造モデリング能力とLLMの推論能力を組み合わせる。 FLORA-Benchの実験では、GLOWは予測精度とランキングユーティリティにおいて最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-12-11T13:30:46Z)
• Framework for Machine Evaluation of Reasoning Completeness in Large Language Models For Classification Tasks [0.0]
  本稿では、説明の完全性のためのRAS-Reasoning Alignmentを紹介する。 我々は,広く使用されている4つのテキスト分類データセット,WIKI ONTOLOGY, AG NEWS, IMDB, GOEMOTIONSを分析した。 正解予測はサポート特徴のカバレッジが高く,正解予測は矛盾する特徴のカバレッジの増大と関連していることを示す。
  論文  参考訳（メタデータ） (2025-10-23T20:22:22Z)
• Mapping the Course for Prompt-based Structured Prediction [5.483149122038912]
  本稿では,LLMの予測力と推論手法による構造的整合性を組み合わせることを提案する。 構造的予測目標を用いたキャリブレーションと微調整が,課題に対する性能向上につながることを示す。
  論文  参考訳（メタデータ） (2025-08-20T22:00:28Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。