論文の概要: The Model Knows Your Project, Not You: Measuring Recognition in LLMs with NameRank
- arxiv url: http://arxiv.org/abs/2607.12520v1
- Date: Tue, 14 Jul 2026 08:54:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.09001
- Title: The Model Knows Your Project, Not You: Measuring Recognition in LLMs with NameRank
- Title（参考訳）: プロジェクトを知るモデル - NameRankによるLLMの認識測定
- Abstract要約: サイテーションは、モデルが研究者を認識するかどうかの3分の1について説明する。
独立した裁判官は、キュレートされた金に対して二項の評決を返します。
認定は資格やタイトルではなく、名前付きインデックス可能なアーティファクトに支払われる。
- 参考スコア（独自算出の注目度）: 0.33451037881913753
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: What a frontier model recalls about a person or tool from its own weights -- before any retrieval step -- often shapes the first description a human sees, making that parametric corpus presence a measurement problem. Citations explain about a third of whether a model recognizes a researcher; we target the residual and build NameRank, a [0,1] recognition score: each of 4,685 entities in 54 cohorts is probed with one open-ended question across 36 models, and an independent judge returns a binary verdict against a curated gold -- did the model state a specific, non-guessable fact about this exact entity? -- so hallucination, context echo, and guesses earn nothing. Synthetic-null entities hold the floor near zero, and verdicts track the entity, not the model. One thesis organizes the findings: recognition is paid to named, indexable artifacts, not to credentials or titles. Every Olympic-style credential sits below a working-researcher baseline, because no named artifact ships with the medal, yet the ranking inverts at the marquee tier, where Nobel, Turing, and Fields laureates saturate the panel. For independent creators the tool out-ranks its maker, and the credential that does propagate is a named method or awarded paper. Being one of many named contributors to a celebrated artifact, by contrast, earns almost nothing -- the authors listed on a flagship model report or system card sit near the recognition floor -- because recognition attaches to the artifact's own distinctive name, not to the roster behind it. No bibliometric predicts recognition well; top-density institutions out-recognize peers at matched citations; and on 258 news events recognition loads on peak salience, not persistence. A self-report probe shows introspection reads a corpus prior, not its own knowledge.
- Abstract（参考訳）: フロンティアモデルは、ある人や道具について(検索のステップの前に)自分自身の重みから思い出すもので、人間が最初に見た記述を形作って、パラメトリックコーパスの存在を計測問題にしている。
54のコホートに4,685のエンティティがそれぞれ、36のモデルにまたがる1つのオープンエンドの質問で調査され、独立した裁判官が、キュレートされた金に対する二項の評決を返します。
--幻覚、文脈の反響、推測は何も得ない。
合成ヌルエンティティはフロアをゼロに近く保持し、モデルではなくエンティティを追跡する。
認定は資格やタイトルではなく、名前付きインデックス可能なアーティファクトに支払われる。
全てのオリンピックスタイルの資格は、メダルを持つ人工物船は存在せず、ノーベル賞、チューリング賞、フィールズ賞がパネルを飽和させるマルキー級のランクを逆転させるため、ワーキング・リサーチャーの基準線の下に置かれている。
独立系クリエーターにとって、このツールはメーカーを上回り、プロパゲートする資格は名前のついた方法や論文だ。
有名なアーティファクトの多くの貢献者の一人であることは対照的に、ほとんど何も得ていない ― フラッグシップモデルレポートやシステムカードに記載されている著者は、認識フロアの近くに座る。
バイオロメトリは認識をうまく予測せず、トップ密度の機関は一致した引用でピアを認識せず、ニュースイベントの認識は、永続性ではなくピークサリエンスに負荷をかけます。
自己報告型プローブは、イントロスペクションが自身の知識ではなく、コーパスを事前に読み取ることを示している。
関連論文リスト
- Detectable Only Where It Is Confounded: What Verified Duplication Counts Say About Membership Evidence in Language Models [0.0]
言語モデルが予測する文章を異常に安価に見つけると、その文章が訓練データに含まれていたと結論付ける傾向があることが示される。
ほぼ全ての公開テストでは、どの文章がトレーニングデータ、メンバー、どれがそうでなかったかを推測する必要があった。
本稿では,OLMo-2とPythiaの2つのモデルファミリーが事前学習コーパスを公開し,各コーパスに現れる文の正確な回数を公開インデックスとして返却する。
答えは2つの側面から閉じてピンサーを形成する。
論文 参考訳（メタデータ） (2026-09-09T21:01:56Z) - VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳（メタデータ） (2026-09-02T20:36:45Z) - Auditing Anonymous AI Models: A Four-Stage Protocol for Black-Box Identity Verification [0.0]
アイデンティティは、データ処理用語、サプライチェーンリスク、能力期待を決定する。
匿名モデルのブラックボックス認証のための検証された方法論は存在しない。
API提供型モデルのための4段階の法医学監査プロトコルを提案する。
論文 参考訳（メタデータ） (2026-08-31T17:48:24Z) - Matched Outcomes, Divergent Gaze: How Foveated MLLMs Search Compared to Humans [50.71222402701153]
目標指向検索(COCO-Search18)における3つの汎用大言語モデル(MLLM)と人間の眼球運動スキャンパスを比較した。
いずれも低エントロピー、大振幅、自己整合性のスキャンパスであり、2人の人間が互いに同意するよりもはるかに近い。
このギャップは、回答アライメントとサリエンシのメトリクスが測定できないプロセス軸の上に置かれている。それらが見逃しているため、そのような指標は人間のようなビジョンを証明できない。ゼロショットモデルは結果と空間的疑問に適合するが、時間的、プロセスレベルではない。
論文 参考訳（メタデータ） (2026-08-17T12:54:39Z) - The Rank-One Corner: How Much Value Equivalence Does a Task Need from a World Model? [0.0]
潜在者がどれだけのクロージャを表現しようとするかは、モデルのキャパシティや観測結果によって決定されるものではない。
本研究では,DreamerV3スタック上で,既知の接地路閉鎖を伴う制御環境において直接測定する。
論文 参考訳（メタデータ） (2026-07-07T14:45:17Z) - Scaffold, Not Vocabulary? A Controlled, Two-Tier, Pre-Registered Study of a Popperian Code-Generation Skill [0.0]
大規模な言語モデルは、コードを書き、レビューし、判断するようになっている。
顕著な例は、モデルにポパーリアのファルシフィケーション奏者として振る舞うように指示する。
スキルのPopperianコンテンツから、あるいは構造から得られるものは何か?
論文 参考訳（メタデータ） (2026-06-04T17:49:00Z) - Not All Synthetic Data Is Yours to Learn From [68.13136636413601]
弱い自己学習は、事前訓練モデルにすでに存在する能力を増幅できることを示す。
我々はこれを、プロンプトフリーな無条件自己学習の最小設定で研究する。
論文 参考訳（メタデータ） (2026-05-29T10:34:11Z) - FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition [54.31138496553705]
日常生活におけるきめ細かい認識は、しばしばクローズドブックの分類問題ではない。
既存のベンチマークは主に視覚的認識を評価しており、このアクティブな外部知識獲得能力は過小評価されている。
そこでは,システムが外部の証拠を探し,検証し,利用し,オープンエンドのきめ細かい認識質問に答えなければならない,きめ細かな知識獲得について検討する。
論文 参考訳（メタデータ） (2026-05-13T08:49:51Z) - Feeling the Strength but Not the Source: Partial Introspection in LLMs [0.0]
人類学的な主張では、フロンティアモデルは時々、活性化方向として表される「概念」を検知し、名前を付けることができる。
われわれは、Meta-Llama-3.1-8B-Instruct上で、Arthropicのマルチターン「エマージェントイントロスペクション」の結果を再現する。
イントロスペクションは、非常に大きなモデルや有能なモデルに限らない。
論文 参考訳（メタデータ） (2025-12-13T17:51:13Z) - Where Fact Ends and Fairness Begins: Redefining AI Bias Evaluation through Cognitive Biases [77.3489598315447]
事実と公正の境界を識別することは有意義な公正性評価に不可欠である,と我々は主張する。
Fact-or-Fair は (i) 客観的なクエリを記述的, 事実に基づく判断, (ii) 主観的クエリを規範的, 公平性に基づく判断に整合させたベンチマークである。
論文 参考訳（メタデータ） (2025-02-09T10:54:11Z) - Multicultural Name Recognition For Previously Unseen Names [65.268245109828]
本論文は、人名の認識を改善することを目的としており、それは、誰かが生まれたり、名前を変えたりする際にも、成長できる多様なカテゴリーである。
私は103か国の名前を見て、モデルが異なる文化の名前でどれだけうまく機能するかを比較します。
文字入力と単語入力を組み合わせたモデルの方が単語のみのモデルより優れており,従来のNERモデルと比較して精度が向上する可能性がある。
論文 参考訳（メタデータ） (2024-01-23T17:58:38Z) - Modelling word learning and recognition using visually grounded speech [18.136170489933082]
音声認識の計算モデルは、しばしば対象の単語の集合が既に与えられていると仮定する。
これは、これらのモデルが、事前の知識と明示的な監督なしに、スクラッチから音声を認識することを学ばないことを意味する。
視覚接地音声モデルは、音声入力と視覚入力の統計的依存関係を利用して、事前知識のない音声認識を学習する。
論文 参考訳（メタデータ） (2022-03-14T08:59:37Z) - RealGait: Gait Recognition for Person Re-Identification [79.67088297584762]
我々は,既存の映像人物の再識別課題からシルエットを抽出し,制約のない方法で歩く1,404人からなる新たな歩行データセットを構築した。
以上の結果から、実際の監視シナリオにおける歩行による認識は実現可能であり、その基盤となる歩行パターンが、実際にビデオの人物認識が機能する真の理由である可能性が示唆された。
論文 参考訳（メタデータ） (2022-01-13T06:30:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。