論文の概要: Learning Individual Scientific Taste with Privileged Hindsight Distillation
- arxiv url: http://arxiv.org/abs/2610.19719v1
- Date: Wed, 14 Oct 2026 07:44:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.019542
- Title: Learning Individual Scientific Taste with Privileged Hindsight Distillation
- Title（参考訳）: 個別の科学的味覚の学習
- Abstract要約: 我々は,科学的嗜好を,提案可能な証拠と共有評価空間における基準レベルの評価から研究者固有のマッピングとしてモデル化する。
我々は、構造化された公開レビューがほとんど利用できない量子研究において、我々のアプローチを主に評価する。
- 参考スコア（独自算出の注目度）: 8.996958037661939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scientific taste shapes which research directions researchers pursue, and it varies across individuals. Existing work evaluates research directions along multiple evaluation criteria or models scientific taste using community feedback signals such as citations and reviews, but neither directly captures how individuals translate assessments under the same criteria into different preferences. We model scientific taste as a researcher-specific mapping from criterion-level assessments in a shared, evidence-grounded evaluation space with proposal-visible evidence, to relative preferences. A population-level mapping learned from retrospective supervision provides a cold start when individual feedback is scarce. We introduce Privileged Hindsight Distillation (PHD), which uses later-emerging scientific evidence during training to improve proposal-time criterion assessment and the population mapping, while exposing only proposal-visible information at inference. We evaluate our approach primarily in quantum research, where structured public reviews are largely unavailable, and use pairwise proposal comparison as a direct interface for observing individual taste. With only 15 comparisons per researcher, our method captures sharply different tastes, including opposing preferences over the same research-direction pairs when they trade off across evaluation criteria. In an interactive study, personalized rankings also surface proposals associated with greater subsequent user engagement, connecting learned taste to downstream research exploration.
- Abstract（参考訳）: 研究者が追求する科学的な味の形は、個人によって異なる。
既存の研究は、複数の評価基準に沿って研究の方向性を評価し、引用やレビューなどのコミュニティフィードバック信号を用いて科学的嗜好をモデル化するが、個人が同じ基準の下で評価を異なる嗜好にどのように翻訳するかを直接把握するものではない。
我々は, 科学的嗜好を, 提案可能な証拠と共有的根拠に基づく評価空間における基準レベルの評価から相対的嗜好まで, 研究者固有のマッピングとしてモデル化する。
振り返りの監督から学んだ人口レベルのマッピングは、個人のフィードバックが不足している場合に、コールドスタートを提供します。
そこで,本研究では,PHD(Privleged Hindsight Distillation)について紹介する。これは,後発の科学的エビデンスを用いて,提案時の基準評価と人口マッピングを改善しつつ,推論時に提案可能な情報のみを公開する。
我々は、構造化されたパブリックレビューがほとんど利用できない量子研究において、我々のアプローチを主に評価し、個別の嗜好を観察するための直接的なインターフェースとしてペアワイズ提案比較を用いる。
研究者1人あたりの15個の比較では、評価基準をまたいでトレードオフを行う場合の、同じ研究方向ペアに対する反対の嗜好を含む、非常に異なる嗜好を捉えている。
インタラクティブな研究において、パーソナライズされたランキングは、学習された味と下流の調査を結びつける、より多くのユーザーエンゲージメントに関連する提案を提示する。
関連論文リスト
- Scientific Discovery under Validation Congestion via Multi-Fidelity Pairwise Rankings [26.634491386548135]
PRISMSは,有望な候補を特定するために,専門家のペアランキングを利用するフレームワークである。
PRISMSは、回帰のみのアクティブラーニングよりも42%少ないラウンドで50%のトップ10発見リコールを達成し、選択的エスカレーションのないランキングベースの手法よりも15%少ないラウンドで達成している。
論文 参考訳（メタデータ） (2026-10-01T15:04:03Z) - Is this Idea Novel? An Automated Benchmark for Judgment of Research Ideas [5.4020309622966325]
RINoBenchは、研究アイデアの新規性判断を大規模に評価するための最初の総合的なベンチマークである。
人間の専門家によって導かれ、判断される1,381件の研究アイデアと、9つの自動評価指標で構成されている。
このベンチマークを用いて、研究アイデアの新規性を判断する能力について、最先端の大規模言語モデルをいくつか評価する。
論文 参考訳（メタデータ） (2026-03-11T00:54:10Z) - InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem [87.30601926271864]
InnoEvalは、人間レベルのアイデアアセスメントをエミュレートするために設計された、深いイノベーション評価フレームワークである。
我々は,多様なオンライン情報源から動的証拠を検索し,根拠とする異種深層知識検索エンジンを適用した。
InnoEvalをベンチマークするために、権威あるピアレビューされた提案から派生した包括的なデータセットを構築します。
論文 参考訳（メタデータ） (2026-02-16T00:40:31Z) - SciArena: An Open Evaluation Platform for Foundation Models in Scientific Literature Tasks [87.29946641069068]
我々は,学術文献タスクの基礎モデルを評価するための,オープンで協調的なプラットフォームであるSciArenaを紹介する。
集合的知性を活用することで、SciArenaはコミュニティ主導の、オープンな科学的タスクにおけるモデルパフォーマンスの評価を提供する。
収集した嗜好データに基づいたメタ評価ベンチマークであるSciArena-Evalをリリースする。
論文 参考訳（メタデータ） (2025-07-01T17:51:59Z) - Identifying Aspects in Peer Reviews [59.02879434536289]
我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2025-04-09T14:14:42Z) - How do Humans and Language Models Reason About Creativity? A Comparative Analysis [12.398832289718703]
評価を用いた例を含む2つの実験が創造性評価にどのように影響するかを検討した。
研究1では、フォーマルな科学や工学のトレーニングで72人の専門家の創造性評価を分析した。
研究2では、最先端のLCMを用いた並列解析により、モデルが独創性を評価する際に、アイデアの非日常性と遠隔性を優先していることが判明した。
論文 参考訳（メタデータ） (2025-02-05T15:08:43Z) - Mitigating Cognitive Biases in Multi-Criteria Crowd Assessment [22.540544209683592]
クラウドソーシングにおけるマルチ基準アセスメントに関連する認知バイアスに着目した。
複数の異なる基準で目標を同時に評価するクラウドワーカーは、いくつかの基準の優位性や評価対象の世界的な印象による偏りのある応答を提供することができる。
評価基準間の関係を考慮に入れたベイズ意見集約モデルのための2つの具体的なモデル構造を提案する。
論文 参考訳（メタデータ） (2024-07-10T16:00:23Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Provable Benefits of Policy Learning from Human Preferences in
Contextual Bandit Problems [82.92678837778358]
嗜好に基づく手法は、InstructGPTのような経験的応用でかなりの成功を収めている。
フィードバックモデリングにおける人間のバイアスと不確実性がこれらのアプローチの理論的保証にどのように影響するかを示す。
論文 参考訳（メタデータ） (2023-07-24T17:50:24Z) - On the Interaction of Belief Bias and Explanations [4.211128681972148]
我々は,信念バイアスの概観,人的評価における役割,そしてNLP実践者の考え方について述べる。
本研究では,評価における信念バイアスを考慮に入れることの重要性を指摘しながら,このような制御を導入する際に,最高性能の手法に関する結論が変化することを示す。
論文 参考訳（メタデータ） (2021-06-29T12:49:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。