論文の概要: MAxBench: A Multinomial Concept Recovery Benchmark

• arxiv url: http://arxiv.org/abs/2609.13072v1
• Date: Fri, 11 Sep 2026 17:08:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.822231
• Title: MAxBench: A Multinomial Concept Recovery Benchmark
• Title（参考訳）: MAxBench: マルチノードの概念回復ベンチマーク
• Abstract要約: 多項概念表現のための幾何に依存しない評価フレームワークであるMAxBenchを紹介する。 6つの概念と4つのモデルにまたがる10のローカライズ手法(5つの幾何学型を含む)を比較した。 この枠組みを用いることで、(i)アフィン部分空間は階数1や線形部分空間よりも信頼性が高く、リコールも大きいことが分かる。
• 参考スコア（独自算出の注目度）: 46.669539754297254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-grained control of language model behaviors (e.g., steering) is among the more actionable outcomes of interpretability research. For binary concepts such as refusal, a single direction in activation space often suffices for steering. However, many concepts are not binary: Animals and Countries contain many subcategories, each with multiple instances. For these concepts, the search space over possible representation geometries is far larger than for binary concepts; it is thus not clear what geometries are most appropriate, nor what methods are most effective at recovering them. In this work, we introduce MAxBench, a geometry-agnostic evaluation framework for multinomial concept representations based on sampling from the recovered concept representation. We use MAxBench to compare 10 localization methods (covering 5 geometry types) across 6 concepts and 4 models. Using this framework, we find that (i) affine subspaces steer more reliably and have greater recall than rank-one or linear subspaces; (ii) much of this advantage is due to better non-zero offsets rather than the choice of bases; (iii) manifold steering is competitive with the best methods when applicable; and (iv) no method consistently outperforms prompting, in alignment with prior findings on binary concepts. These findings underscore the importance of expanding the scope of interpretability research and meta-evaluation to concepts with more varied structure.
• Abstract（参考訳）: 言語モデル行動のきめ細かい制御(例えば、ステアリング)は、解釈可能性研究のより実用的な結果の1つである。 拒否のような二項概念では、活性化空間の1つの方向が操舵に十分であることが多い。 しかし、多くの概念はバイナリではない: 動物と国は多くのサブカテゴリを含み、それぞれが複数のインスタンスを持つ。 これらの概念に対して、表現的ジオメトリの探索空間は二項的概念よりもはるかに大きく、どのジオメトリが最も適しているか、どのメソッドがそれらを回復するのに最も効果的であるかは明らかでない。 本研究では,得られた概念表現からのサンプリングに基づいて,多項概念表現の幾何非依存評価フレームワークであるMAxBenchを紹介する。 我々はMAxBenchを用いて6つの概念と4つのモデルにまたがる10のローカライズ手法(5つの幾何型を含む)を比較した。 このフレームワークを使うことで (i)アフィン部分空間は、ランクワン又はリニア部分空間よりも信頼性が高く、リコールが大きい。 (ii)この利点の多くは、ベースの選択よりもゼロでないオフセットの方が優れているためである。 三 多様体の操舵は、適用する場合の最良の方法と競合する。 (iv)二項概念の先行的な発見と一致して、一貫した手法がプロンプトに勝ることはない。 これらの知見は、より多様な構造を持つ概念に解釈可能性研究とメタ評価の範囲を広げることの重要性を浮き彫りにした。

関連論文リスト

• Conceptors for Semantic Steering [14.40996156810136]
  アクティベーションベースのステアリングは、推論時にLCMの動作を制御する。 支配的なパラダイムは、それぞれの概念を、幾何がほとんど検討されていない単一の方向へと還元する。 バイポーラの概念の両極にまたがる活性化から推定されるソフトプロジェクション行列。
  論文  参考訳（メタデータ） (2026-05-06T14:32:29Z)
• AxBench: Steering LLMs? Even Simple Baselines Outperform Sparse Autoencoders [73.37603699731329]
  ステアリングと概念検出のための大規模ベンチマークであるAxBenchを紹介する。 ステアリングでは、すべての既存のメソッドを高速に処理し、次いで微調整する。 概念検出では、差分のような表現に基づく手法が最善を尽くす。
  論文  参考訳（メタデータ） (2025-01-28T18:51:24Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• Conceptual Learning via Embedding Approximations for Reinforcing Interpretability and Transparency [2.7719338074999547]
  解釈可能性が最重要である領域において、概念ボトルネックモデル(CBM)が重要なツールとして出現している。 本研究では、アンダーラインtextbfReinforcecing Interpretability and Transparency に対するアンダーラインtextbfEmbedding UnderlinetextbfApproximations によるアンダーラインtextbfConceptual UnderlinetextbfLbeddingを提案する。
  論文  参考訳（メタデータ） (2024-06-13T06:04:34Z)
• A Canonicalization Perspective on Invariant and Equivariant Learning [54.44572887716977]
  フレームの設計について,本質的で完全な視点を提供する正準化の視点を導入する。 フレームと標準形式の間には固有の関係があることが示される。 既存の手法よりも厳密な固有ベクトルのための新しいフレームを設計する。
  論文  参考訳（メタデータ） (2024-05-28T17:22:15Z)
• Learnable Pillar-based Re-ranking for Image-Text Retrieval [119.9979224297237]
  画像テキスト検索は、モダリティギャップを埋め、意味的類似性に基づいてモダリティコンテンツを検索することを目的としている。 一般的なポストプロセッシング手法であるリグレードは, 単一モダリティ検索タスクにおいて, 隣り合う関係を捕捉する優位性を明らかにしている。 本稿では,画像テキスト検索のための新しい学習可能な柱型リグレードパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-25T04:33:27Z)
• Learning Permutation-Invariant Embeddings for Description Logic Concepts [1.1650381752104297]
  概念学習は、背景知識と入力例から記述論理の概念を学ぶことを扱う。 この非自明なタスクは、無限の準順序空間内の探索問題として定式化されることが多い。 学習問題を多ラベル分類問題として再構成し、置換不変な埋め込みを学習するニューラル埋め込みモデル(NERO)を提案する。
  論文  参考訳（メタデータ） (2023-03-03T10:57:04Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Dive into Decision Trees and Forests: A Theoretical Demonstration [0.0]
  決定木は"divide-and-conquer"の戦略を使用して、入力機能とラベル間の依存性に関する複雑な問題を小さなものに分割します。 近年, 計算広告, 推薦システム, 情報検索などの性能が大幅に向上している。
  論文  参考訳（メタデータ） (2021-01-20T16:47:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。