論文の概要: Intention Collapse: Intention-Level Metrics for Reasoning in Language Models

• arxiv url: http://arxiv.org/abs/2601.01011v1
• Date: Sat, 03 Jan 2026 00:19:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:21.940948
• Title: Intention Collapse: Intention-Level Metrics for Reasoning in Language Models
• Title（参考訳）: 意図崩壊:言語モデルにおける推論のための意図レベルメトリクス
• Authors: Patricio Vera,
• Abstract要約: この過程を、高次元の意図空間 I から外部言語空間 L への多対一の射影と呼ぶ。 我々は,3つのモデル非依存意図尺度(意図エントロピー,有効次元ディメフ,潜在知識回復可能性)を定義する。 200 GSM8K問題に対する4ビットMistral 7Bモデルを用いて,直解ベースライン,思考連鎖(CoT)レシエーション,バブル制御を比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Every act of language generation compresses a rich internal state into a single token sequence. We call this process intention collapse: a many-to-one projection from a high dimensional intention space I into an external language space L. We formalize intention collapse for contemporary language models, define three simple, model agnostic intention metrics (intention entropy Hint, effective dimensionality dimeff, and latent knowledge recoverability Recov), and propose an empirical agenda for studying how inference time computation shapes internal intentions before they are verbalized. We also report a first small scale experiment. Using a 4 bit Mistral 7B model on 200 GSM8K problems, we compare a direct answer baseline, a chain of thought (CoT) regime, and a babble control. CoT raises accuracy from 5.5 percent to 53 percent, sharply reduces pre collapse intention entropy (from 1.42 to 0.37 bits), and shows higher global effective dimensionality than the other regimes despite producing fewer tokens than babble. At the same time, Hint has little item level predictive power, and a linear probe on I achieves AUROC 0.65 in the CoT regime but only about chance in the baseline regime, where it collapses to the majority class. These preliminary results indicate that intention level metrics can distinguish inference regimes and expose latent information that is partly lost during collapse, while also revealing important limitations of our current proxies
• Abstract（参考訳）: 言語生成のすべての行為は、豊富な内部状態を単一のトークンシーケンスに圧縮する。 我々は、高次元の意図空間 I から外言語空間 L への多対一の投影を、現代言語モデルに対する意図の崩壊を形式化し、3つの単純でモデルに依存しない意図のメトリクス(意図エントロピー Hint, 有効次元ディメフ, 潜在知識回復性 Recov)を定義し、推論時間計算が言語化される前に内部の意図をどのように形作るかを研究するための実証的アジェンダを提案する。 私たちはまた、最初の小さな実験を報告します。 200 GSM8K問題に対する4ビットMistral 7Bモデルを用いて,直解ベースライン,思考連鎖(CoT)レシエーション,バブル制御を比較した。 CoTは精度を5.5%から53%に引き上げ、崩壊前の意図のエントロピー(1.22ビットから0.37ビット)を劇的に減らし、バブルよりもトークンが少ないにもかかわらず、他のレジームよりもグローバルな有効次元を示す。 同時に、Hint はアイテムレベルの予測力はほとんどなく、I 上の線形プローブは CoT 系では AUROC 0.65 を達成するが、ベースライン系では、多数派に崩壊する。 これらの予備的な結果は、意図レベルメトリクスが推論規則を識別し、崩壊時に部分的に失われる潜伏情報を公開すると同時に、現在のプロキシの重要な制限を明らかにしていることを示している。

関連論文リスト

• Thought calibration: Efficient and confident test-time scaling [11.028893528095196]
  大きな言語モデルを推論することで、長いこと考えることで、素晴らしいテスト時間のスケーリングを実現しますが、このパフォーマンス向上は、かなりの計算コストを伴います。 思考終了時の動的決定を動的に行うための思考校正を提案する。 このフレームワークは,言語モデルに隠された表現をベースとした軽量なプローブによって実現されている。
  論文  参考訳（メタデータ） (2025-05-23T22:17:18Z)
• Understanding In-context Learning of Addition via Activation Subspaces [73.8295576941241]
  そこで本研究では,入力に整数$k$を追加するという真の予測規則を,数ショット学習タスクの構造化されたファミリについて検討する。 次に、次元の減少と分解を通じて、個々の頭部の詳細な分析を行う。 この結果から,前進パスを横断する局所化頭部の低次元部分空間の追跡が,言語モデルにおける微粒化計算構造に対する洞察を与えることを示す。
  論文  参考訳（メタデータ） (2025-05-08T11:32:46Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• The Remarkable Robustness of LLMs: Stages of Inference? [5.346230590800585]
  本研究では,Large Language Models (LLM) の構造的介入に対するロバスト性について検討する。 驚くべきことに、モデルは微調整なしでオリジナルのトップ1予測精度の72-95%を維持している。
  論文  参考訳（メタデータ） (2024-06-27T17:57:03Z)
• An Analysis and Mitigation of the Reversal Curse [70.13419502543915]
  最近の研究は、大型言語モデル(LLM)で注目すべき現象を観測している。 逆の呪文は、$a$と$b$の2つのエンティティを扱う場合、LLMは$aRb$,'という形式でシーケンスを処理するのに優れるが、$bR-1a$'を処理する場合の課題に直面することである。
  論文  参考訳（メタデータ） (2023-11-13T17:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。