論文の概要: Calibrating Reproduced Claims in Recommender Systems

• arxiv url: http://arxiv.org/abs/2609.26975v1
• Date: Tue, 22 Sep 2026 19:10:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.736573
• Title: Calibrating Reproduced Claims in Recommender Systems
• Title（参考訳）: リコメンダシステムにおける再生成クレームの校正
• Abstract要約: 報告された値が異なる場合もあるが、比較したメソッドの順序は同じである。 フォローアップ研究は、元の実験に関連しているが、元のクレームのどの部分が新しい結果によって支持されているかは関係していない。 ケースでは、数値、メソッドランキング、統計結果、全体的な結論の一致は必ずしも一致しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reproduction studies can produce mixed outcomes. Reported values may differ while the ordering of the compared methods remains the same, a result may hold only under some experimental conditions, or a released implementation may fail to reproduce a result that the model can still reach. The terms repeatability, reproducibility, and replicability describe how a follow-up study relates to the original experiment, but not which parts of the original claim are supported by the new results. We introduce \emph{claim calibration} as a way of stating the strongest claim supported by a follow-up study, together with the conditions under which it holds and the parts that remain untested. We apply this perspective to five original--follow-up paper pairs from recommender-systems research. The cases show that agreement in numerical values, method rankings, statistical results, and overall conclusions does not always coincide, and that follow-up studies often support only part of the original claim. Based on these observations, we propose a Claim Evidence Profile for reporting the original claim, its scope, the reproduction target, the reported results, the calibrated claim, and the parts of the original claim that remain unresolved.
• Abstract（参考訳）: 繁殖の研究は様々な結果をもたらす。 比較したメソッドの順序が同じである間に、報告された値が異なる場合もあり、結果がいくつかの実験条件下でのみ保持される場合や、リリースされた実装では、モデルが到達可能な結果を再現できない場合もあります。 再現性、再現性、複製性という用語は、後続の研究が元の実験とどのように関係するかを記述しているが、元の主張のどの部分が新しい結果によって支持されているかは記述していない。 フォローアップ研究で支持される最強のクレームと,その保持条件と未検証部分とを述べる方法として, 'emph{claim calibration' を紹介した。 この視点を,リコメンデータシステム研究の5つのオリジナル・フォローアップ・ペーパーペアに適用する。 これらのケースは、数値値、メソッドランキング、統計結果、および全体的な結論の一致が必ずしも一致しておらず、フォローアップ研究が元の主張の一部しかサポートしていないことを示している。 これらの観測に基づき, 元の請求項, その範囲, 再生目標, 報告された結果, 校正された請求項, 未解決の請求項の一部を報告するためのクレーム証拠プロファイルを提案する。

関連論文リスト

• From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents [47.678562263387214]
  研究エージェントは、産業レコメンデーション設定において、多段階の機械学習実験をますます実施している。 生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。 本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-05T13:37:38Z)
• When benchmark inferences do not compose: Projectibility in AI evaluation [0.0]
  AIベンチマークの結果が1ステップで連続的なクレームに達することはめったにない。 評価者はそれをさらなるケースに一般化し、能力の証拠として解釈し、新しいタスクに外挿し、他のシステムやサイトへ輸送する。 保証リンクは保証チェーンを自動的に作らない。
  論文  参考訳（メタデータ） (2026-07-28T18:07:04Z)
• Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
  大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。 仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。 本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
  論文  参考訳（メタデータ） (2026-07-17T08:56:43Z)
• The Alignment Bottleneck in Decomposition-Based Claim Verification [17.197804072440665]
  我々は、時間的拘束力のある証拠と人間による注釈付きサブステートメント証拠を含む、現実世界の複雑なクレームのデータセットを新たに導入する。 サブステートアラインド・アライメント・エビデンス(SAE)と繰り返しクライム・レベル・エビデンス(SRE)という2つのアライメント・アライメント・セットアップの下での分解を評価する。 以上の結果から,エビデンスがきめ細やかで厳密に整合している場合にのみ,分解が大幅な性能向上をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-11T00:02:16Z)
• Retrieve-Refine-Calibrate: A Framework for Complex Claim Fact-Checking [32.6738019397553]
  大規模言語モデル(LLM)に基づくRetrieve-Refine-Calibrate(RRC)フレームワークを提案する。 特に、このフレームワークは、まずクレームに記載されたエンティティを特定し、それらに関連する証拠を検索する。 そして、無関係な情報を減らすためのクレームに基づいて、回収された証拠を精査する。 最後に、信頼性の低い予測を再評価することで検証プロセスを校正する。
  論文  参考訳（メタデータ） (2026-01-23T08:48:52Z)
• Prediction-Powered Causal Inferences [59.98498488132307]
  予測型因果推論(PPCI)に焦点をあてる まず, 条件付きキャリブレーションにより, 人口レベルでの有効なPPCIが保証されることを示す。 次に、実験間での十分な表現制約伝達の妥当性を導入する。
  論文  参考訳（メタデータ） (2025-02-10T10:52:17Z)
• From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
  我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。 本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
  論文  参考訳（メタデータ） (2023-10-18T02:59:38Z)
• Sequential Predictive Two-Sample and Independence Testing [114.4130718687858]
  逐次的非パラメトリック2サンプルテストと独立テストの問題点について検討する。 私たちは賭けによる(非パラメトリックな)テストの原則に基づいています。
  論文  参考訳（メタデータ） (2023-04-29T01:30:33Z)
• Achieving Equalized Odds by Resampling Sensitive Attributes [13.114114427206678]
  等価性の概念をほぼ満足する予測モデルを学習するためのフレキシブルなフレームワークを提案する。 この微分可能な関数は、モデルパラメータを等化奇数に向けて駆動するペナルティとして使用される。 本研究は,予測規則が本性質に反するか否かを検出するための公式な仮説テストを開発する。
  論文  参考訳（メタデータ） (2020-06-08T00:18:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。