論文の概要: Continuous Interpretive Steering for Scalar Diversity
- arxiv url: http://arxiv.org/abs/2604.07006v1
- Date: Wed, 08 Apr 2026 12:24:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.514727
- Title: Continuous Interpretive Steering for Scalar Diversity
- Title(参考訳): スケーラブルな多様性のための継続的解釈的ステアリング
- Abstract要約: 本研究は,アクティベーションレベルステアリング強度を連続実験変数として扱うことにより,段階的実用的解釈を探索する連続解釈ステアリング(CIS)を提案する。
実験により、一様アクティベーションステアリングは現実的な解釈を全世界で増加させるが、アイテムレベルの変動は崩壊する一方、グレードドされたアクティベーションステアリングステアリングはスカラー多様性グレードと整合した解釈的シフトを区別することが示された。
- 参考スコア(独自算出の注目度): 2.538209532048867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pragmatic inference is inherently graded. Different lexical items give rise to pragmatic enrichment to different degrees. Scalar implicature exemplifies this property through scalar diversity, where implicature strength varies across scalar items. However, evaluations of pragmatic inference in large language models (LLMs) often rely on prompt-based manipulations. Beyond prompt-level effects, this study introduces Continuous Interpretive Steering (CIS), a method that probes graded pragmatic interpretation by treating activation-level steering strength as a continuous experimental variable. To support this analysis, this study introduces a new dataset, GraSD, which encodes graded scalar diversity. Experiments on four LLMs show that uniform activation steering increases pragmatic interpretations globally but collapses item-level variation, whereas graded activation steering yields differentiated interpretive shifts aligned with scalar diversity grades. It indicates that graded sensitivity is encoded in the representation space and can be systematically recovered through controlled intervention. Together, CIS and GraSD provide a principled framework for evaluating graded pragmatic sensitivity in LLMs.
- Abstract(参考訳): プラグマティック推論は本質的にグレード化されている。
語彙の異なる項目は、異なる程度に実用的な豊かさをもたらす。
Scalar implicatureは、スカラーアイテムによって不規則な強度が変化するスカラーの多様性を通じて、この特性を例示する。
しかし、大きな言語モデル(LLM)における実用的推論の評価は、しばしばプロンプトベースの操作に依存している。
本研究では, アクティベーションレベルのステアリング強度を連続実験変数として扱うことにより, 段階的実用的な解釈を探索する手法である連続解釈ステアリング(CIS)を導入する。
この分析を支援するために、グレードドスカラーの多様性を符号化した新しいデータセットであるGraSDを導入する。
4つの LLM 実験により, 一様活性化ステアリングは現実的解釈を全世界で増加させるが, アイテムレベルの変動は崩壊する。
このことは、グレードされた感度が表現空間に符号化され、制御された介入によって体系的に回復できることを示している。
CISとGraSDは、LLMのグレードドされた実用的感度を評価するための原則的なフレームワークを提供する。
関連論文リスト
- DiverseDiT++: Quantifying, Analyzing, and Promoting Representation Diversity in Diffusion Transformers [48.96981796971673]
ブロック間の表現の多様性は、DiTにおける効果的な表現学習にとって重要な要素であることを示す。
多様な表現学習を明示的に促進する新しいフレームワークであるDiverseDiT++を提案する。
提案手法は,ブロック間の入力表現を多角化するための長い残差接続と,ブロックに異なる特徴を学習させるための表現多様性損失を組み込んだものである。
論文 参考訳(メタデータ) (2026-08-04T03:51:15Z) - SAW: Stage-Aware Dynamic Weighting for Multi-Objective Reinforcement Learning in Large Language Models [66.92079232778707]
本稿では,アルゴリズムに依存しない軽量な動的重み付け機構として,SAW(Stage-Aware Dynamic Weighting)を提案する。
SAWは、各次元の報酬または利益の貢献を、バッチ内の相対的な情報性によって重み付けする。
ツールコールとテキスト要約タスクの実験により、SAWはトレーニング効率と最終的なパフォーマンスの両方を一貫して改善することを示した。
論文 参考訳(メタデータ) (2026-06-05T10:00:19Z) - Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity [2.538209532048867]
本研究は,複数のモデルおよび実験環境における直接確率測定とメタinguistic promptingの比較を行った。
その結果, 評価手法が相反する結果が得られず, 実用的行動はモデルファミリ, 促進戦略, タスク構造によって大きく異なることがわかった。
論文 参考訳(メタデータ) (2026-05-09T16:28:50Z) - Language-Grounded Decoupled Action Representation for Robotic Manipulation [78.42228162226839]
認識と制御を結びつけるために,Language-Grounded Decoupled Action Representation (LaDA) フレームワークを提案する。
LaDAは3つの解釈可能なアクションプリミティブ(翻訳、回転、グリップ制御)の微細な中間層を導入し、低レベルのアクションに対して明示的な意味構造を提供する。
さらに、セマンティックガイダンスによるソフトラベルのコントラスト学習の目的を用いて、類似のアクションプリミティブをタスク間で整列させ、一般化と動きの整合性を高める。
論文 参考訳(メタデータ) (2026-03-13T13:08:26Z) - Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。
タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。
この空間性-微分的関係は、様々なモデルや領域で観測可能である。
論文 参考訳(メタデータ) (2026-03-03T18:48:15Z) - Beyond Instance Consistency: Investigating View Diversity in Self-supervised Learning [40.22430098149745]
本稿では,インスタンスの一貫性が保証されない場合の自己教師型学習の有効性について検討する。
正のペアが厳密なインスタンス一貫性を欠いている場合でも、SSLは意味のある表現を学習できることを示す。
過剰な多様性は効果を減少させ、ビューの多様性に最適な範囲を示唆している。
論文 参考訳(メタデータ) (2025-09-14T16:41:17Z) - When Meaning Stays the Same, but Models Drift: Evaluating Quality of Service under Token-Level Behavioral Instability in LLMs [4.265831047857601]
本研究では,大規模言語モデルがトークンレベルでの認識のみが異なるが,同じ意味的意図を保持するプロンプトにどのように反応するかを検討する。
本稿では,意味論的に等価なプロンプトリワードの下でのLCMの挙動ドリフトを測定するための診断フレームワークであるPmpt-based Semantic Shift (PBSS)を提案する。
論文 参考訳(メタデータ) (2025-06-11T18:26:32Z) - Estimating Commonsense Plausibility through Semantic Shifts [66.06254418551737]
セマンティックシフトを測定することでコモンセンスの妥当性を定量化する新しい識別フレームワークであるComPaSSを提案する。
2種類の細粒度コモンセンス可視性評価タスクの評価は,ComPaSSが一貫してベースラインを上回っていることを示している。
論文 参考訳(メタデータ) (2025-02-19T06:31:06Z) - Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。
我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。
E-SSLの実用設計の原則をいくつか明らかにする。
論文 参考訳(メタデータ) (2024-11-10T16:09:47Z) - CGLearn: Consistent Gradient-Based Learning for Out-of-Distribution Generalization [0.7366405857677226]
本研究では,様々な環境における勾配の一致に依存する,単純だが強力なアプローチCGLearnを提案する。
提案手法は, 線形および非線形の条件下での最先端手法と比較して, 優れた性能を示す。
合成データセットと実世界のデータセットの総合的な実験は、様々なシナリオにおけるその有効性を強調している。
論文 参考訳(メタデータ) (2024-11-09T02:36:39Z) - Do pretrained Transformers Learn In-Context by Gradient Descent? [21.23795112800977]
本稿では,自然データを用いた言語モデル(LLaMa-7B)における文脈内学習(ICL)の出現について検討する。
ICL と Gradient Descent (GD) は言語モデルの出力分布を異なる方法で変更する。
これらの結果は、ICLとGDの同値性は未解決の仮説であり、さらなる研究が必要であることを示唆している。
論文 参考訳(メタデータ) (2023-10-12T17:32:09Z) - Adaptive Discrete Communication Bottlenecks with Dynamic Vector
Quantization [76.68866368409216]
入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。
コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-02-02T23:54:26Z) - Disentangled Contrastive Learning for Learning Robust Textual
Representations [13.880693856907037]
運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。
NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
論文 参考訳(メタデータ) (2021-04-11T03:32:49Z) - Learning Disentangled Representations with Latent Variation
Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。
逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。
本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文 参考訳(メタデータ) (2020-07-25T08:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。