数据挖掘课后习题.doc

(5页)

'数据挖掘课后习题.doc'
(实验项目) DBLP数据集包括100万篇发表在计算机科学会议和杂志上的论文项。在这些项中,很多作者都有合著关系。(a) 提出一种方法,挖掘密切相关的(即,经常一起合写文章)合著者关系。解决问题的大致过程:1. DBLP数据集是一个XML文件,先对XML文件解析,得到一个超过1G的TXT文件,处理文件数据格式,并截取前20000行数据,格式如下图:2. 使用FP-Tree算法,设置支持度为3,得到的满足条件的频繁项集如下图:说明:以上结果只是一部分,由于数据集很庞大,限于篇幅,不便全部展示。(b) 根据挖掘结果和本章讨论的模式评估度量,讨论哪种度量可能比其他度量更令人信服地揭示紧密合作模式。关于作者A(Dimitris Papadias)和作者B(Yufei Tao)的2×2的相依表(显示期望值) Yufei Tao 非(Yufei Tao) 和 Dimitris Papadias 26(0.0045) 60(86) 86非(Dimitris Papadias) 59(84.9955) 1609994(1609968) 1610053 和 85 1610054 16101391. 使用提升度的相关分析P({A}) = 86/1610139 = 5.28e -5P({B}) = 85/1610139 = 5.28e -5P({A,B}) = 26/1610139 = 1.61e -5提升度为P({A,B})/(P({A})×P({B}) )=1.61e -5/(5.28e -5×5.28e -5)=5775 2. 使用χ2进行相关分析 χ2 = (26-0.0045)2/0.0045 + (60-86)2/86 + (59-84.9955)2/84.9955 + (1609994-1609968)2/1609968 = 150238 3. 全置信度 P(A|B) = 26/85 = 0.306 P(B|A) = 26/86 = 0.302 all_conf(A,B) = min{P(A|B),P(B|A)} = 0.302 4. 最大置信度 max_conf(A,B) = max{P(A|B),P(B|A)} = 0.306 5. Kulczynski Kulc(A,B) = 1/2 *(P(A|B)+P(B|A)) = 0.3046.余弦 Cosine(A,B) = P(A|B)×P(B|A) = 0.304比较6种模式评估度量: 上述6种模式评估中,提升度和χ2的计算受零事务的影响很大,在上面的例子中,AB表示零事务的个数。一般,零事务的个数可能大大超过个体购买的个数,因为,A和B发表过的论文相对于整个数据库中的论文总数,是很小的一部分。其他四个度量很好地消除了AB的影响。由于上述例子中P(A|B) 和P(B|A) 近似相等,导致四种评估度量(全置信度,最大置信度,Kulczynski,余弦)结果也近似相等,但如果P(A|B) 和P(B|A) 相差很大,例如P(A|B)>>P(B|A),则根据全置信度的结果,得出的结论可能是负相关,根据最大置信度的结果,得出的结论却是正相关,而根据Kulczynski和余弦的结果,则两者被视为中性。(c) 基于以上研究,开发一种方法,它能粗略地预估导师和学生的关系,以及这种指导的周期1. 根据经验,我们知道,学生发表的论文上往往会署导师的名字,而导师的论文上却不一定有学生的署名,或者说导师发表过的论文要远比学生多,我们可以设置两个参数30和5,例如,作者A和B满足频繁项集的要求,并且A发表过的论文不小于30篇,B发表过的论文不超过5篇,则我们可以认定A为导师,B为学生。2. 若要求得指导的近似周期,我们需要在求频繁项集时,将发表的日期作为属性假如到事务中,如果我们已确定A为导师,B为学生,并且他们的合著次数满足频繁项集的支持度,我们需要计算A和B合著论文中的最近日期和最早日期,最近日期-最早日期 = 近似的指导周期 数据挖掘作业 学院: 计算机学院 学号:1403121614 姓名:汪泰利
关 键 词:
课后 习题 数据挖掘
 ope平台t所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
关于本文
本文标题:数据挖掘课后习题.doc
链接地址: /p-51437846.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服点击这里,给ope平台t发消息,QQ:3074922707 - 联系我们

本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有【成交的100%(原创)】。本站是网络服务平台方,若您的权利被侵害,侵权客服QQ:3074922707 欢迎举报。

3074922707@qq.com 2017-2027 网站版权所有

 

收起
展开