論文の概要: Reach Into The CHOIR: Free-List Elicitation Uncovers Distinct Model Voices in LLM Ensembles
- arxiv url: http://arxiv.org/abs/2609.38448v1
- Date: Tue, 29 Sep 2026 19:40:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.659175
- Title: Reach Into The CHOIR: Free-List Elicitation Uncovers Distinct Model Voices in LLM Ensembles
- Title(参考訳): CHOIRへのリーチ:LLMアンサンブルでフリーリストの引用が特定モデルの音声を発見
- Abstract要約: CHOIRは認知人類学からLLMアンサンブルへのフリーリスト導入を実現するフレームワークである。
ChoIRは、ランク付けされたリスト、アイテムをプロンプトレベルの概念に繰り返し適用し、モデル、プロンプト変種、ペルソナ条件を越えて概念のサリエンスを測定する。
Infinity-Chat 100におけるCHOIRの評価を行った。これはオープンエンドモデルの均一性に関する最近の研究と、メカニズムレベルのコントラストを分離するために設計された27の問合せ対象診断バンクについてである。
- 参考スコア(独自算出の注目度): 0.10742675209112619
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Open-ended LLM homogeneity can create false plurality when several systems appear to offer independent perspectives while returning the same familiar default. Single-pass answers obscure the distinction between agreement produced by a tightly constrained answer space, prompt-vocabulary echo, and broader answer spaces with stable alternatives beneath the surface. We introduce CHOIR (Collective Hierarchically-Ordered Inquiry Responses), a framework that adapts free-list elicitation from cognitive anthropology to LLM ensembles. CHOIR repeatedly elicits ranked lists, clusters items into prompt-level concepts, and measures concept salience across models, prompt variants, and persona conditions. We evaluate CHOIR on Infinity-Chat 100, an external prompt bank from recent work on open-ended model homogeneity, and on a 27-question targeted diagnostic bank designed to isolate mechanism-level contrasts. On Infinity-Chat 100, CHOIR reproduces high surface agreement (93/100 prompts above chance) while separating narrow prompts from broad prompts with recoverable depth. Across targeted probes and the external prompt bank, base-model identity remains the strongest recoverable signature, and persona prompts shift surfaced concepts within base-model signatures. A source-blind ranking module prioritises rare-but-stable candidates for later inspection. CHOIR turns open-ended homogeneity into a diagnostic measurement problem by asking where models converge, why they converge, and what remains reachable under structured depth probing.
- Abstract(参考訳): オープンエンドLLM均質性は、複数のシステムが同じ慣れ親しんだデフォルトを返しながら独立した視点を提供するように見えるときに、偽の複数を生成することができる。
シングルパスの答えは、厳密に制約された答え空間、急激な語彙エコー、および表面下で安定な選択肢を持つより広い回答空間によって生成される合意の区別を曖昧にしている。
CHOIR (Collective Hierarchically-Ordered Inquiry Responses) は認知人類学からLLMアンサンブルへのフリーリストの引用を適応させるフレームワークである。
CHOIRは、ランク付けされたリスト、クラスタアイテムをプロンプトレベルの概念に繰り返し適用し、モデル、プロンプト変種、ペルソナ条件を越えて概念のサリエンスを測定する。
Infinity-Chat 100におけるCHOIRの評価を行った。これはオープンエンドモデルの均一性に関する最近の研究と、メカニズムレベルのコントラストを分離するために設計された27の問合せ対象診断バンクについてである。
Infinity-Chat 100では、CHOIRは、広いプロンプトから狭いプロンプトを回復可能な深さで分離しながら、高表面整合(93/100のプロンプト)を再現する。
ターゲットプローブと外部プロンプトバンクを横切ると、ベースモデルアイデンティティは依然として最強の回復可能なシグネチャであり、ペルソナはベースモデルシグネチャ内の表面的概念のシフトをプロンプトする。
ソースブラインドランキングモジュールは、後続の検査のために稀だが安定な候補を優先する。
CHOIRは、モデルがどこに収束するか、なぜ収束するのか、構造された深さ探索の下で何が到達可能なのかを問うことによって、オープンエンドの均一性を診断測定問題に変える。
関連論文リスト
- Loom: Weaving Diagnostic Strands into Free-Text Consensus via Embedding-Space Reweighting [0.0]
実世界の根本原因分析(RCA)のためにデプロイされた生成的コンセンサスフレームワークであるLoomについて紹介する。
ルームがモジュラー$sで出力されるオープンフォーム仮説を連続的な埋め込み空間に投影し、繰り返しセントロイドに基づく再重み付けアルゴリズムで競合する信号を解決する方法を示す。
我々は,エージェント深度と推論遅延のトレードオフ,冗長性検出の負の結果,および決定論的コンセンサスが対象事項専門家の信頼をいかに促進させるかについて,我々の展開経験について議論した。
論文 参考訳(メタデータ) (2026-09-02T14:24:32Z) - Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。
仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。
本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
論文 参考訳(メタデータ) (2026-07-17T08:56:43Z) - Generative Human-Object Interaction Detection via Differentiable Cognitive Steering of Multi-modal LLMs [85.69785384599827]
人間と物体の相互作用(Human-object Interaction、HOI)の検出は、人と物体のペアとそれらの相互作用を局在させることを目的としている。
既存のメソッドはクローズドワールドの仮定の下で動作し、タスクを未定義の小さな動詞集合上の分類問題として扱う。
本稿では,閉集合分類タスクから開語彙生成問題へのHOI検出を再構成する新しい生成推論・ステアブル知覚フレームワークGRASP-HOを提案する。
論文 参考訳(メタデータ) (2025-12-19T14:41:50Z) - More Bias, Less Bias: BiasPrompting for Enhanced Multiple-Choice Question Answering [53.09478307383865]
大規模言語モデル(LLM)のための新しい推論フレームワークであるBiasPromptingを紹介する。
最終的な予測に到達する前に、LCMにすべての妥当な答えオプションの推論を生成し、批判的に評価するように誘導する。
広く使われている5つの質問応答ベンチマークにおいて、大幅な改善が示されている。
論文 参考訳(メタデータ) (2025-11-25T09:01:08Z) - Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond) [90.45301024940329]
言語モデル(LM)は、多様で人間らしい創造的コンテンツを生成するのに苦労することが多い。
Infinity-Chatは26万の多様な実世界のオープンエンドユーザクエリからなる大規模データセットである。
本研究では, LMのモード崩壊について大規模に検討し, 人工Hivemind効果が明らかとなった。
論文 参考訳(メタデータ) (2025-10-27T03:16:21Z) - Prompt-Response Semantic Divergence Metrics for Faithfulness Hallucination and Misalignment Detection in Large Language Models [0.0]
本稿では, 忠実な幻覚を検出するための新しい枠組みであるセマンティック・ディバージェンス・メトリックス(SDM)を紹介する。
プロンプトと応答間のトピック共起のヒートマップは、ユーザとマシンの対話の定量的な2次元可視化と見なすことができる。
論文 参考訳(メタデータ) (2025-08-13T20:55:26Z) - LLMs Can Generate a Better Answer by Aggregating Their Own Responses [83.69632759174405]
大きな言語モデル(LLM)はタスク間で顕著な機能を示しているが、複雑な問題に直面している場合、追加のプロンプト技術を必要とすることが多い。
この制限は、共通LLMポストトレーニング手順が差別的判断タスクの明示的な監督を欠いているという事実に起因している、と我々は主張する。
本稿では,モデルの識別機能を必要とせず,解答品質を向上させる手法である生成自己集合(GSA)を提案する。
論文 参考訳(メタデータ) (2025-03-06T05:25:43Z) - Unmasking Conversational Bias in AI Multiagent Systems [1.0705399532413618]
生成モデルを含むマルチエージェントシステムで生じる可能性のあるバイアスは、未研究のままである。
本稿では,対話型大規模言語モデルのマルチエージェントシステムにおけるバイアスの定量化を目的としたフレームワークを提案する。
エコーチャンバー実験で観測されたバイアスは、現在最先端のバイアス検出法で検出されていない。
論文 参考訳(メタデータ) (2025-01-24T09:10:02Z) - Multi-granularity Contrastive Cross-modal Collaborative Generation for End-to-End Long-term Video Question Answering [53.39158264785098]
ビデオQA(Long-term Video Question Answering)は、視覚的および言語的ブリッジングの課題である。
マルチグラニュラリティ コントラスト クロスモーダル・コラボレーティブ・ジェネレーション・モデル。
論文 参考訳(メタデータ) (2024-10-12T06:21:58Z) - Unveiling the Tapestry of Consistency in Large Vision-Language Models [25.106467574467448]
提案手法は,プロンプトの解空間が知識点を中心に回転するときに,LVLMがどう機能するかを直感的に解析するベンチマークである。
ConBenchツールに基づいて、タペストリーを最初に公開し、以下の結果を得た。
我々は,本論文が研究コミュニティのモデル評価を加速し,一貫性領域の今後の進歩を促進することを願っている。
論文 参考訳(メタデータ) (2024-05-23T04:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。