第二章 模型评估与选择 1.数据集包含1000 个样本，其中500 个正例，500 个反例，将其划分为包含70%样本的训 练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式。 一个组合问题，从500500 正反例中分别选出150150 正反例用于留出法评估，所以可能取 150 2 法应该是( ) 。 500 2.数据集包含100 个样本，其中正反例各一半，假定学习算法所产生的模型是将新样本预测 为训练样本数较多的类别（训练样本数相一起进行随机猜测），试给出用 10 折交叉验证法 和留一法分别对错误率做评估所得的结果。 10 折交叉检验：由于每次训练样本中正反例数目一样，所以讲结果判断为正反例的概率也 是一样的，所以错误率的期望是5050%。 留一法：如果留下的是正例，训练样本中反例的数目比正例多一个，所以留出的样本会被判 断是反例；同理，留出的是反例，则会被判断成正例，所以错误率是100%。 3.若学习器A 的F1 值比学习器B 高，试析A 的BEP 值是否也比B 高。 4.试述真正例率（TPR）、假正例率（FPR）与查准率（P）、查全率（R）之间的联系。 查全率: 真实正例被预测为正例的比例 真正例率: 真实正例被预测为正例的比例 显然查全率与真正例率是相等的。 查准率:预测为正例的实例中真实正例的比例 假正例率: 真实反例被预测为正例的比例 两者并没有直接的数值关系。 9.试述卡方检验过程。 第三章 线.试证明，对于参数w ，对率回归（logistics 回归）的目标函数（式1）是非凸的，但其对 数似然函数（式2）是凸的。 如果一个多元函数是凸的，那么它的Hessian 矩阵是半正定的。 3.编程实现对率回归，并给出西瓜数据集3.0α上的结果 /icefire_tyh/article/details 4.选择两个UCI 数据集，比较10 折交叉验证法和留一法所估计出的对率回归的错误率。 /icefire_tyh/article/details 5.编程实现线性判别分析，并给出西瓜数据集3.0α上的结果。 /icefire_tyh/article/details 6. LDA 仅在线性可分数据上能获得理想结果，试设计一个改进方法，使其能较好地用于非 线性可分数据。 在当前维度线性不可分，能够正常的使用适当的映射方法，使其在更高一维上可分，典型的方法有 KLDA，可以很好的划分数据。 9.使用 OvR 和 MvM 将多分类任务分解为二分类任务求解时，试述为何无需专对于类别 不平衡性做处理。 书中提到，对于OvROvR，MvMMvM 来说，由于对每个类进行了相同的处理，其拆解出的 二分类任务中类别不平衡的影响会相互抵消，因此通常不需要专门处理。以ECOCECOC 编 码为例，每个生成的二分类器会将所有样本分成较为均衡的二类，使类别不平衡的影响减小。 当然拆解后仍然也许会出现明显的类别不平衡现象，比如一个超级大类和一群小类。 第四章 决策树 4.1.试证明对于不含冲突数据（即特征向量完全相同但标记不同）的训练集，必存在与训练 集一致（即训练误差为0）的决策树。 因为决策树是通过属性来划分，相同属性的样本最终肯定会进入相同的叶节点。一个叶节点 只有一个分类，如果样本属性相同而分类不同，必然产生训练误差。反之，决策树只会在当 前样本集合是同一类或者所有属性相同时才会停止划分，最终得到训练误差为0 的决策树。 4.2.试析使用“最小训练误差”作为决策树划分选择的缺陷。 从机器学习最开始就讲起，最小训练误差并不可靠，由于过度学习样本特性最后导致严重的 过拟合，而没有泛化能力。 4.3.试编程实现基于信息熵进行划分选择的决策树算法，并为表4.3 中数据生成一棵决策树。 /icefire_tyh/article/details 重写的不剪枝的决策树 /icefire_tyh/article/details 即ID3 算法 4.4.试编程实现基于基尼指数进行划分选择的决策树算法，并为表4.2 中数据生成预剪枝、 后剪枝决策树，并与未剪枝决策树作比较。 /icefire_tyh/article/details 即CART 算法 4.5.试编程实现基于对率回归进行划分选择的决策树算法，并为表4.3 中数据生成一棵决策 树。 /icefire_tyh/article/details 思路：参考书p90-91 的多变量决策树模型，这里我们将每个非叶节点作为一个对率回归分 类器，输出为”是”、”否”两类，形成形如二叉树的决策树。 4.6.试选择4 个UCI 数据集，对上述3 种算法所产生的未剪枝、预剪枝、后剪枝决策树进行 实验比较，并进行适当的统计显著性检验。 答案一 简要的分析一下： ID3 算法基于信息熵增益，CART 算法则采用了基尼系数。两种划分属性选择均是基于数据 纯度的角度，方法差距应该不大（CART 可能要好一点）。而对率回归进行划分选择，以斜划 分的方式，实现了多变量参与划分，其模型决策边界更光滑。 相比于决策树的生成算法，剪枝操作更影响模型性能。 答案二 这里要对上面三种实现的算法进行未剪枝，预剪枝，后剪枝做比较，对率回归划分就算了， 都不知道是个啥状况，信息增益和基尼指数的差别并不大，实际上的意思就是为了比较未剪枝，预 剪枝，后剪枝对测试样本的输出结果。显著性分析，对2 种算法，3 种剪枝方式的错误数做 方差分析，信息增益和基尼指数有显著区别是拒绝的，未剪枝，预剪枝，后剪枝有显著区别 是接受的。 4.7.图4.2 是一个递归算法，若面临巨量数据，则决策树的层数会很深，使用递归方法易导 致“栈”溢出，试使用“队列”数据结构，以参数maxDepth 控制数的最大深度，写出与图4.2 等价、但不使用递归的决策树生成算法。 答案一 直接用递归会导致大量的临时变量被保存，当层数过深时会导致“栈”溢出。 用队列对决策树进行层次遍历来生成，用 Max_Depth 来控制树的最大层数。队列中每个元 素代表着决策树的每个节点，它必要的属性有：样本集合、剩余属性集合，当前层数指示， 父节点序号。队列一开始里面只有一个元素，就是最初初始化，带着所有样本的根节点。然 后当队列不为空的时间开始循环，每次取出一个元素，判断要不要划分，如果不要，就是 一个叶节点，出队列就不用管了；若需要划分，那么找出最好的划分属性，然后划分成n 个子区间，依次送入队列，继续循环，直到队列为空。 是否

　　2024-2030全球工业气味控制产品行业调研及趋势变化分析报告.docx

　　2024年全球及中国脱氢表雄酮治疗(DHEA)行业头部企业市场占有率及排名调研报告.docx

　　2024年全球及中国搪瓷静电粉末涂料行业头部企业市场占有率及排名调研报告.docx

　　2024年全球及中国胶体金免疫层析法POCT行业头部企业市场占有率及排名调研报告.docx

　　2024年全球及中国变速箱变速杆组件行业头部企业市场占有率及排名调研报告.docx

　　2024年全球及中国家用浴室柜行业头部企业市场占有率及排名调研报告.docx

　　2024年全球及中国汽车粉尘传感器行业头部企业市场占有率及排名调研报告.docx

　　2024年全球及中国核级氟化铍行业头部企业市场占有率及排名调研报告.docx

　　2024-2030全球面部和颈部 LED 光疗面罩行业调研及趋势变化分析报告.docx

　　2024-2030全球旋转音圈马达（Rotary VCM）行业调研及趋势变化分析报告.docx

　　2024-2030全球覆铜板用低介电树脂行业调研及趋势变化分析报告.docx

　　2024年全球及中国流量事件一体机行业头部企业市场占有率及排名调研报告.docx

　　2024年全球及中国线束制造软件行业头部企业市场占有率及排名调研报告.docx

　　2024年全球及中国双向可编程交流电源行业头部企业市场占有率及排名调研报告.docx

　　2024年全球及中国无线射频识别工业条码打印机行业头部企业市场占有率及排名调研报告.docx

　　原创力文档创建于2008年，本站为文档C2C交易模式，即用户上传的文档直接分享给其他用户（可下载、阅读），本站只是中间服务平台，本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方，若您的权利被侵害，请发链接和相关诉求至 电线) ，上传者