随着信息技术迅速发展，数据库的规模不断扩大，产生了大量的数据。但大量的数据往往无法辨别隐藏在其中的能对决策提供支持的信息，而传统的查询、报表工具无法满足挖掘这些信息的需求。因此，需要一种新的数据分析技术处理大量数据，并从中抽取有价值的潜在知识，数据挖掘（DataMining）技术由此应运而生。
一、数据挖掘的定义
数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现的过程。
二、数据挖掘的方法
1.统计方法。传统的统计学为数据挖掘提供了许多判别和回归分析方法，常用的有贝叶斯推理、回归分析、方差分析等技术。贝叶斯推理是在知道新的信息后修正数据集概率分布的基本工具，处理数据挖掘中的分类问题，回归分析用来找到一个输入变量和输出变量关系的最佳模型，在回归分析中有用来描述一个变量的变化趋势和别的变量值的关系的线性回归，还有用来为某些事件发生的概率建模为预测变量集的对数回归、统计方法中的方差分析一般用于分析估计回归直线的性能和自变量对最终回归的影响，是许多挖掘应用中有力的工具之一。
2.关联规则。关联规则是一种简单，实用的分析规则，它描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。关联规则在数据挖掘领域应用很广泛适合于在大型数据集中发现数据之间的有意义关系，原因之一是它不受只选择一个因变量的限制。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，但是，并不是所有通过关联得到的属性之间的关系都有实际应用价值，要对这些规则要进行有效的评价，筛选有意义的关联规则。
3.聚类分析。聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异，常用的技术有分裂算法，凝聚算法，划分聚类和增量聚类。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价，此外，聚类分析还用于对孤立点的检测。并非由聚类分析算法得到的类对决策都有效，在运用某一个算法之前，一般要先对数据的聚类趋势进行检验。
4.决策树方法。决策树学习是一种通过逼近离散值目标函数的方法，通过把实例从根结点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每个结点说明了对实例的某个属性的测试，该结点的每一个后继分支对应于该属性的一个可能值，分类实例的方法是从这棵树的根结点开始，测试这个结点指定的属性，然后按照给定实例的该属性值对应的树枝向下移动。决策树方法是要应用于数据挖掘的分类方面。
5.神经网络。神经网络建立在自学习的数学模型基础之上，能够对大量复杂的数据进行分析，并可以完成对人脑或其他计算机来说极为复杂的模式抽取及趋势分析，神经网络既可以表现为有指导的学习也可以是无指导聚类，无论哪种，输入到神经网络中的值都是数值型的。人工神经元网络模拟人脑神经元结构，建立三大类多种神经元网络，具有非线形映射特性、信息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能力的种种优点。
6.遗传算法。遗传算法是一种受生物进化启发的学习方法，通过变异和重组当前己知的最好假设来生成后续的假设。每一步，通过使用目前适应性最高的假设的后代替代群体的某个部分，来更新当前群体的一组假设，来实现各个个体的适应性的提高。遗传算法由三个基本过程组成:繁殖(选择)是从一个旧种群(父代)选出生命力强的个体，产生新种群(后代)的过程；交叉〔重组)选择两个不同个体〔染色体)的部分(基因)进行交换，形成新个体的过程；变异(突变)是对某些个体的某些基因进行变异的过程。在数据挖掘中，可以被用作评估其他算法的适合度。
7.粗糙集。粗糙集能够在缺少关于数据先验知识的情况下，只以考察数据的分类能力为基础，解决模糊或不确定数据的分析和处理问题。粗糙集用于从数据库中发现分类规则的基本思想是将数据库中的属性分为条件属性和结论属性，对数据库中的元组根据各个属性不同的属性值分成相应的子集，然后对条件属性划分的子集与结论属性划分的子集之间上下近似关系生成判定规则。所有相似对象的集合称为初等集合，形成知识的基本成分。任何初等集合的并集称为精确集，否则，一个集合就是粗糙的(不精确的)。每个粗糙集都具有边界元素，也就是那些既不能确定为集合元素，也不能确定为集合补集元素的元素。粗糙集理论可以应用于数据挖掘中的分类、发现不准确数据或噪声数据内在的结构联系。
8.支持向量机。支持向量机(SVM)是在统计学习理论的基础上发展出来的一种新的机器学习方法。它基于结构风险最小化原则上的，尽量提高学习机的泛化能力，具有良好的推广性能和较好的分类精确性，能有效的解决过学习问题，现已成为训练多层感知器、RBF神经网络和多项式神经元网络的替代性方法。另外，支持向量机算法是一个凸优化问题，局部最优解一定是全局最优解，这些特点都是包括神经元网络在内的其他算法所不能及的。支持向量机可以应用于数据挖掘的分类、回归、对未知事物的探索等方面。
事实上，任何一种挖掘工具往往是根据具体问题来选择合适挖掘方法，很难说哪种方法好，那种方法劣，而是视具体问题而定。
三、结束语
二、数据挖掘的方法
1.统计方法。传统的统计学为数据挖掘提供了许多判别和回归分析方法，常用的有贝叶斯推理、回归分析、方差分析等技术。贝叶斯推理是在知道新的信息后修正数据集概率分布的基本工具，处理数据挖掘中的分类问题，回归分析用来找到一个输入变量和输出变量关系的最佳模型，在回归分析中有用来描述一个变量的变化趋势和别的变量值的关系的线性回归，还有用来为某些事件发生的概率建模为预测变量集的对数回归、统计方法中的方差分析一般用于分析估计回归直线的性能和自变量对最终回归的影响，是许多挖掘应用中有力的工具之一。
2.关联规则。关联规则是一种简单，实用的分析规则，它描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。关联规则在数据挖掘领域应用很广泛适合于在大型数据集中发现数据之间的有意义关系，原因之一是它不受只选择一个因变量的限制。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，但是，并不是所有通过关联得到的属性之间的关系都有实际应用价值，要对这些规则要进行有效的评价，筛选有意义的关联规则。
3.聚类分析。聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异，常用的技术有分裂算法，凝聚算法，划分聚类和增量聚类。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价，此外，聚类分析还用于对孤立点的检测。并非由聚类分析算法得到的类对决策都有效，在运用某一个算法之前，一般要先对数据的聚类趋势进行检验。
4.决策树方法。决策树学习是一种通过逼近离散值目标函数的方法，通过把实例从根结点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每个结点说明了对实例的某个属性的测试，该结点的每一个后继分支对应于该属性的一个可能值，分类实例的方法是从这棵树的根结点开始，测试这个结点指定的属性，然后按照给定实例的该属性值对应的树枝向下移动。决策树方法是要应用于数据挖掘的分类方面。
5.神经网络。神经网络建立在自学习的数学模型基础之上，能够对大量复杂的数据进行分析，并可以完成对人脑或其他计算机来说极为复杂的模式抽取及趋势分析，神经网络既可以表现为有指导的学习也可以是无指导聚类，无论哪种，输入到神经网络中的值都是数值型的。人工神经元网络模拟人脑神经元结构，建立三大类多种神经元网络，具有非线形映射特性、信息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能力的种种优点。
6.遗传算法。遗传算法是一种受生物进化启发的学习方法，通过变异和重组当前己知的最好假设来生成后续的假设。每一步，通过使用目前适应性最高的假设的后代替代群体的某个部分，来更新当前群体的一组假设，来实现各个个体的适应性的提高。遗传算法由三个基本过程组成:繁殖(选择)是从一个旧种群(父代)选出生命力强的个体，产生新种群(后代)的过程；交叉〔重组)选择两个不同个体〔染色体)的部分(基因)进行交换，形成新个体的过程；变异(突变)是对某些个体的某些基因进行变异的过程。在数据挖掘中，可以被用作评估其他算法的适合度。
7.粗糙集。粗糙集能够在缺少关于数据先验知识的情况下，只以考察数据的分类能力为基础，解决模糊或不确定数据的分析和处理问题。粗糙集用于从数据库中发现分类规则的基本思想是将数据库中的属性分为条件属性和结论属性，对数据库中的元组根据各个属性不同的属性值分成相应的子集，然后对条件属性划分的子集与结论属性划分的子集之间上下近似关系生成判定规则。所有相似对象的集合称为初等集合，形成知识的基本成分。任何初等集合的并集称为精确集，否则，一个集合就是粗糙的(不精确的)。每个粗糙集都具有边界元素，也就是那些既不能确定为集合元素，也不能确定为集合补集元素的元素。粗糙集理论可以应用于数据挖掘中的分类、发现不准确数据或噪声数据内在的结构联系。
8.支持向量机。支持向量机(SVM)是在统计学习理论的基础上发展出来的一种新的机器学习方法。它基于结构风险最小化原则上的，尽量提高学习机的泛化能力，具有良好的推广性能和较好的分类精确性，能有效的解决过学习问题，现已成为训练多层感知器、RBF神经网络和多项式神经元网络的替代性方法。另外，支持向量机算法是一个凸优化问题，局部最优解一定是全局最优解，这些特点都是包括神经元网络在内的其他算法所不能及的。支持向量机可以应用于数据挖掘的分类、回归、对未知事物的探索等方面。
事实上，任何一种挖掘工具往往是根据具体问题来选择合适挖掘方法，很难说哪种方法好，那种方法劣，而是视具体问题而定。
三、结束语
目前，数据挖掘技术虽然得到了一定程度的应用，并取得了显著成效，但仍存在着许多尚未解决的问题。随着人们对数据挖掘技术的深人研究，数据挖掘技术必将在更加广泛的领域得到应用，并取得更加显著的效果。
参考文献:
数据挖掘(DM)融合了多个领域的理论和技术，如人工智能、数据库、模式识别、统计学等技术。数据挖掘常与数据库中的“知识发现”(KDD，KnowledgeDiscoveryinDatabase)进行比较，对于两者之间的关系，学术界有很多不同见解。数据挖掘属于整个知识挖掘过程的一个核心步骤。
1.2信息安全漏洞
漏洞(Vulnerability)，又称为缺陷。对信息安全漏洞的定义最早是在1982年，由美国著名计算机安全专家D.Denning提出，D.Longley等人从风险管理的角度分三个方面描述漏洞的含义，M.Bishop等人采用状态空间描述法定义漏洞，权威机构如美国NIST在《信息安全关键术语词汇表》以及国际标准化组织的ISO/IEC《IT安全术语词汇表》中也对漏洞进行定义。世界上比较较知名的漏洞数据库包括美国国家漏洞库NVD(NationalVulnerabilityDatabase)、丹麦的Secunia漏洞信息库等，我国在2009年也建成了中国国家信息安全漏洞库CNNVD。本文选取Secu-nia漏洞库的漏洞数据作为样本进行数据挖掘。
2数据挖掘算法
2.1数据挖掘任务
数据挖掘任务主要是发现在数据中隐藏的潜在价值。数据挖掘模式主要分为两种:描述型和预测型。描述模式是对历史数据中包含的事实进行规范描述，从而呈现出数据的一般特性;预测模式通常以时间作为参考标准，通过数据的历史值预测可能的未来值。依照不同的模式特征，细分六类模式:预测模式、关联模式、序列模式、分类模式、回归模式以及聚类模式。本文主要针对关联模式进行深入探讨。
2.2关联规则分析及算法
关联规则算法是指相关性统计分析，基于分析离散事件之间的相关性统计而建立关联规则，关联规则算法是定量分析，所以必须将样本中的数据进行离散化操作，此算法是基于大量数据样本的优化算法。
(1)关联算法中的几个基本概念
关联规则算法包含4个基本概念项集。项集是一组项的集合，每个项都包含一个属性，例如，项集{A，B}。项集的大小是指向集中含有项的数量。频繁项集为样本中出现频率高的项集。支持度。支持度用来衡量项集出现的频率。项集{A，B}的支持度定义为同时包含项A和项B的项集的总数。
(2)Apriori关联算法
Apriori算法将发现关联规则的过程分为两个阶段:首先通过迭代，检索出数据集中所有的频繁项集，即支持度不低于最小支持度的项集;第二阶段利用频繁项集构造满足最小信任度的规则。
3运用关联规则算法挖掘Secunia漏洞数据库
Secunia漏洞库覆盖范围包含程序和系统中的各种漏洞。该数据库持续更新体现最新的漏洞信息。Secunia漏洞公告主要包括:漏洞名称、Secunia公告号、日期、漏洞等级、漏洞来源、影响范围、操作系统版本等。以Secunia漏洞库中的信息为样本，构建关联挖掘规则，反映出漏洞信息在不同系统中的关联性。
3.1构建关联规则
(1)挖掘任务
通过历史漏洞信息，挖掘分析不同软件出现同类型漏洞的概率。
(2)挖掘结构
结合挖掘任务，数据挖掘关联表为事例表结合嵌套表的方式。建立漏洞表Vulnerabilities，此表为事例表，漏洞id作为主键。嵌套表为Softwares表，记录软件名和软件版本类型，软件id作为两张表进行关联的外键。
3.2关联规则挖掘结果
通过采集的Secunia库的数据作为样本，应用Apriori算法模型。依据最低支持度(Min_S)和最低置信度(Min_P)的阈值，形成相应的规则集。通过调整Min_S和最低Min_P的值，得到如表1所示的值。通过上述例子可以看出，当关联规则的置信度越高、重要度越高，则该条关联规则的价值越高，根据具体情况，可以设置最低置信度和最小重要度作为该条规则是否有价值的标准，即(Confidence(AB)min，Importance(AB)min)，根据对置信度和重要的综合考虑，可以得出价值更高的关联规则，从而对信息安全事件有更好的预警分析。
2模糊集理论的引入
在讨论实际问题的时候，需要判定模糊概念涵义，如判断某个数据在模糊集的定义和归属，这时就需要普通集合与模糊集合可依某种法则相互转换。模糊理论中的截集是模糊集合和普通集合之间相互转换的一座桥梁。
3基于事务间数值型关联规则的数据挖掘算法
假设有一就业数据库，先通过数据整理，将原始数据记录值区间［0，10］偏置10个单位。由此就得到了经过偏置后的数据库记录。再依滑动窗口方法，设maxspan=1(该值可以依实际情况的需要来定),就可将偏置后的数据库数据整理转化为扩展事务数据库。再把扩展事务数据库记录通过隶属度函数转化为对应的隶属度。
首先，选一个合适的编程模型，具体来讲，可以采用MapReduce的编程模型，这是一种相对简单的编程模型，在海量数据的计算处理方面有很大的应用。同时MapReduce具有很大的优点，比如：编程简单、易于扩展、容错性比较好等。MapReduce能够将混乱庞大的的数据系统划分为两个阶段，即：Map和Reduce阶段，而且在处理过程中只需要移动计算的方式即可，利用拥有众多优点的MapReduce编程模型作为设计Hadoop平台的载体，是非常有前途的选择。
其次，根据市场需求来设计所需要的前台模块。如今市场上无论各行各业竞争相对都比较激烈，尤其是在如今计算机技术的飞速发展，各大高校计算机人才的扩招，国家提倡高新技术产业发展的大背景下，计算机行业的竞争也是越来越激烈，而想要在日益激烈的市场竞争中争得一席之地，必须把握市场规律，掌握市场技巧，要是铲平有销路，则必须以客户需求为导向，从客户需求出发，设计出满足客户需求的产品。因此在设计平台的时候必须先进行用户需求分析，在真正了解了客户需求的基础上，再进行相关软件的开发。
最后，进行Hadoop平台具体的设计。就总体而言，在设计基于Hadoop平台的数据挖掘系统的时候可以采用自上而下分层的思维模式，利用上层的系统来调用下层的系统。并且依前段所言，要根据用户的具体需求来分层设计，且设计的各层之间的相互独立的，通过调用来实现数据间的传输与通信，之所以采用这种模式是因为这种模式具有很好的扩展性。
在设计基于Hadoop平台的数据挖掘系统时，主要包括：交互层、业务应用层、数据挖掘层三个部分，具体来讲：交互层主要的职责是完成用户与系统之间信息的传递，可以称为其交流的窗口，交互层能够提供清晰形象的图像，利用直观的图像信息将内容呈献给用户。业务应用层主要进行调度、处理、控制用户层的业务，通过调用数据挖掘算法层来进行用户层业务的处理。数据挖掘层作为整个系统的核心，利用并行的方式完成其任务，最后把最终结果返回到业务应用层中。
2大数据挖掘的原理与优势
大数据是指数据量很大（一般是TB到PB数量级）的巨量资料，无法通过主流软件工具，在合理时间内完成数据处理并获取有价值的信息。数据大多以非结构化或者半结构化数据为主，大数据具有4V特点：Volume、Velocity、Variety、Veracity。大数据处理的一般思路是数据压缩、数据抽样、数据挖掘等。数据挖掘是一种新的信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其它模型化处理，从中提取辅助商业决策的关键性数据。利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、推荐系统等，它们分别从不同的角度对数据进行挖掘。大数据挖据的数据源和处理方式对比。
3数据挖据流程和模型选取
3.1数据挖掘的主要流程
数据挖掘主要包括以下6大步骤。
（1）商业理解：确定挖掘目标以及产生一个项目计划。
（2）数据理解：知晓有哪些数据，以及数据的特征是什么。
（3）数据准备：对数据作出转换、清洗、选择、合并等工作。
（4）建模：根据挖掘目标确定适合的模型，建模并对模型进行评估。
（5）模型评估：评估建模效果，对效果较差的结果我们需要分析原因。
（6）结果部署：用所建挖掘模型去解决实际问题，它还包括了监督、维持、产生最终报表、重新评估模型等过程。
3.2垃圾短信治理指标体系设计
垃圾短信用户识别建模数据主要从信令监测系统、经营分析系统获取，所获取的用户行为数据主要包括用户通信行为信息、用户基础业务属性、用户通信业务信息等7个维度。其中，用户通信行为信息包括活动轨迹、终端IMEI和数据业务访问等信息。
3.3模型的选取
对白名单用户的识别可以利用社交网络模型与业务规则相结合的方法。利用社交网络进行白名单用户识别，重点考虑用户之间发生的通信行为、增值业务交互行为等群体行为，通过对用户之间关系的辨识。本文建模的重点着眼于垃圾短信用户的识别及其治理。
3.3.1现有垃圾短信识别模型的优势与不足
识别垃圾短信用户是数据挖掘中的分类问题，数据挖掘中常用的分类算法主要有逻辑回归、决策树、贝叶斯网络等算法。其中，神经网络因本身算法的复杂性，造成模型结果解释性较差，模型落地较困难而很少在实际项目中使用。目前识别垃圾短信的数据挖掘模型基本上为逻辑回归模型和决策树模型。决策树模型主要具有以下优势：模型非常直观，容易让人理解和应用；决策树搭建和应用的速度比较快；决策树对于数据分布没有严格要求；受缺失值和极端值对模型的影响很小。但是，使用决策树作为垃圾短信用户识别模型主要存在以下不足。
（1）决策树最大缺点是其原理中的贪心算法。贪心算法总是做出在当前看来最好的选择，却不从整体上思考最优的划分，因此，它所做的选择只能是某种意义上的局部最优选择。
（2）决策树缺乏像回归或者聚类那样丰富多样的检测指标和评价方法。
（3）容易出现过拟合。当某些自变量的类别数量比较多，或者自变量是区间型时，决策树过拟合的危险性会增加。
（4）决策树算法对区间型自变量进行分箱操作时，无论是否考虑了顺序因素，都有可能因分箱丧失某些重要信息。尤其是当分箱前的区间变量与目标变量有明显的线性关系时，这种分箱操作造成的信息损失更为明显。
相比于数据挖掘建模常用的其它算法如决策树、神经网络、支持向量机等，逻辑回归技术是最成熟，得到广泛应用，逻辑回归模型主要存在以下不足。
（1）变量之间的多重共线性会对模型造成影响。
（2）应删除异常值，否则它会给模型带来很大干扰。
（3）逻辑回归模型本身不能处理缺失值，所以应用逻辑回归算法时，要注意针对缺失值进行适当处理，或者赋值，或者替换，或者删除。
3.3.2垃圾短信识别预测模型选取
鉴于目前研究者对垃圾短信识别使用的决策树和逻辑回归模型存在较多不足之处，本文从模型算法上对其进行改进，力求得到更加科学合理的垃圾短信识别预测模型。本文使用的数据挖掘模型为随机森林模型。
3.3.2.1模型简介
随机森林（RandomForest）算法是一种专门为决策树分类器设计的优化方法。它综合了多棵决策树模型的预测结果，其中的每棵树都是基于随机样本的一个独立集合的值产生的。随机森林和使用决策树作为基本分类器的Bagging有些类似。以决策树为基本模型的Bagging在每次自助法（Boostrap）放回抽样之后，产生一棵决策树，抽多少样本就生成多少棵树，在生成这些树的时候没有进行更多的干预。而随机森林也是进行许多次自助法放回抽样，所得到的样本数目及由此建立的决策树数量要大大多于Bagging的样本数目。随机森林与Bagging的关键区别在于，在生成每棵树的时候，每个节点变量都仅仅在随机选出的少数变量中产生。因此，不但样本是随机的，就连每个节点变量产生都有相当大的随机性。随机森林让每棵树尽可能生长，而不进行修剪。随机森林算法主要包括决策树的生长和投票过程。随机森林中单棵树的生长可概括为以下几步。
（1）使用Bagging方法形成个别的训练集:假设原始训练集中的样本数为N，从中有放回地随机选取N个样本形成一个新的训练集，以此生成一棵分类树。
（2）随机选择特征(指评估指标，以下同)对分类树的节点进行分裂:假设共有M个特征，指定一个正整数m<M，在每个内部节点，从M个特征中随机抽取m个特征作为候选特征，选择这m个特征上最好的分裂方式对节点进行分裂。在整个森林的生长过程中，m的值保持不变。
（3）每棵树任其生长，不进行剪枝。Bagging方法形成新的训练集和随机选择特征进行分裂，使得随机森林能较好地容忍噪声，并且能降低单棵树之间的相关性；单棵树不剪枝能得到低偏差的分类树，同时保证了分类树的分类效能(Strength)，分类树的分类效能是指分类树对新的测试数据的分类准确率。
3.3.2.2随机森林分类预测模型的主要优势
（1）随机森林的预测精度高，它可以产生高准确度的分类器。
（2）可以处理相当多的输入变量。随机森林不惧怕很大的维数，即使有数千个变量，也不必删除，它也会给出分类中各个变量的重要性。
（3）当在构建随机森林模型时候，对GenerlizationError估计是无偏估计。
（4）随机森林在设计上具有很快训练速度，训练出结果模型不必花费大量时间。
（5）对缺失值和极端值具有很强容忍能力，即使有较多缺失数据仍可以维持准确度。
（6）当遇到分类数据不平衡时，可以较好地平衡误差。
（7）随机森林算法并不会导致过拟合。定义组合分类器的总体分类效能s为：s=Ex,ymg(x,y)。若用ρ表示每棵分类树之间相关度的均值，则随机森林的泛化误差PE的上界可由下式给出:PE*≤ρ(1-s2)/s2。当随机森林有相当多的分类树时，随机森林的泛化误差几乎处处收敛于一个有限值。因此，随着森林中分类树数目的增长，随机森林算法并不会导致过拟合。
（8）随机森林在模型训练过程中，能够对特征之间的相互影响行为做出检测。随机森林算法具有以上优势，在垃圾短信治理预测中具有应用的优势，本文采用随机森林模型作为垃圾短信用户的分类预测。综上所述，随机森林模型主要在不会出现过拟合、训练精度高、能处理大量输入变量并输出变量重要性3个方面优越于决策树模型；在容忍缺失值和极端值方面明显优越于逻辑回归模型。随机森林模型在算法设计上有效弥补了决策树和逻辑回归模型的不足之处，在垃圾短信识别分类预测中具有较好的应用价值。
3.3.2.3垃圾短信数据挖掘模型构建
通过前述的商业理解确定了垃圾短信识别业务需求，并进行数据理解构建了垃圾短信识别指标体系，再抽取需要的数据，并进行数据清洗、转换、衍生变量计算等步骤，具备了建模的目标数据，接下来的任务就是通过随机森林模型构建垃圾短信分类预测模型，对垃圾短信用户进行识别。
3.4用户分类治理策略
通过随机森林模型的识别，根据用户是垃圾短信发送者的可能性评估，制定不同的治理策略，如图3所示。实际的执行过程中，需要根据清单的范围大小，适当的调整预测概率门限，以保证策略执行的效果，同时避免过多的正常用户的业务感知受到影响。
4垃圾短信治理平台的实现
4.1系统架构
垃圾短信治理平台的数据来源较多，需要处理的数据量也非常大，因此，数据采集和数据处理过程是相互影响的过程。垃圾短信治理平台的系统架构图如图4所示。
（1）数据采集层：是垃圾短信治理平台与多个数据库来源的安全访问接口，通过数据采集层实现数据挖掘和分析所需要的基础信息：用户属性信息、用户卡号信息、用户业务记录、用户的位置信息和消费记录。
（2）数据处理层：需要根据数据挖掘的需求，将采集的基础数据转换为业务服务层可以使用的数据，通过对基础数据进行整形、清洗和预处理，为后续的数据挖掘做好数据准备。
（3）业务服务层：主要包括应用和安全服务两个部分，应用包括数据查询统计服务、用户查询服务和GIS应用服务，同时，补充报表服务和文件管理服务以方便日常的工作。通过外部接口服务，可以部署相应的权限管理、数据管理维护以及注册服务等，降低系统的风险，保证信息的安全传递。
（4）功能模块：主要是根据客户需求，定制开发的功能单元，功能模块的个数以实际部署的情况为准。以图4垃圾短信治理平台的系统架构图某省公司的定制模块为例，主要包括指标查询模块、垃圾短信治理模块、用户综合信息分析模块和市场支撑应用模块4个部分。
4.2效果展现
针对不同的部门或用户，垃圾短信治理平台展现不同的数据，主要包括以下的结果展现方式。
（1）治理效果掌控：通过指标查询系统，及时掌握垃圾短信的治理效果，发现工作的成果和风险，达到及时发现问题并快速响应的目的。
（2）治理效率提升：通过垃圾短信治理模块，快速准确识别垃圾短信源头并定位区域，下发至地市公司快速处理，减小垃圾短信带来的不良社会影响。
（3）实现预先管控：通过用户综合信息分析模块，可以对潜在的具有垃圾短信源头特征的风险终端进行监控、通过外呼、资费信息等情况，提前发现和治理潜在垃圾短信源。
二、最小二乘法拟合直线
最小二乘法是一种数学优化技术。它以某一社会、经济或自然现象为对象，寻找一拟合曲线，以满足给定对象系统的一组观测数据。通常要求选择的拟合曲线会使各观测数据到拟合曲线的误差的平方和最小。
本文研究销售企业(如商场)异常客户的性质。设一段时期内客户的累计消费金额为y，对应的消费时期为x。假定测得客户的n个数据(x1,y1)，…,(xn,yn)，则在XOY平面上可以得到n个实验点:Pi(xi,yi)（i=1，…n)，这种图形称为“散点图”(如图1，图2）。在利用最小二乘法进行分析时，各种非线性关系的拟合曲线均可线性化，因此此处选择直线y=ax+b作为拟合直线，寻求x与y之间近似线性关系时的经验公式。其中a为直线的斜率，b为直线在y轴上的截距。
如果Pi(i=1，…n)全部位于同一条直线上，则可认为变量之间的关系为y=ax+b，但一般情况下不会如此。记估计值=axi+b，则各实验点与拟合直线之间的误差为εi=-yi=（axi+b）-yi，它反映了用直线y=ax+b来描述(xi,yi)时,估计值与观测值yi之间的偏差大小。则有：
要求偏差越小越好。但由于εi可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度，这就是最小二乘原则。于是问题归结为根据这一要求来确定y=ax+b中的a和b，使得最小。因为F(a,b)是关于a、b的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，F取最小值时，有：
于是得到了符合最小二乘原则的相应解：
三、基于斜率的异常客户挖掘算法
1.问题描述
本文的目的是研究某一消费时期内,异常客户的消费倾向。取异常客户一年内各月份的累计消费金额为参考，记录的数据如下（表1，表2）。根据其散点图（图1，图2）可以看出，客户的累计消费金额随时间都呈上升趋势，所以难以观察出该客户是否对商场保持持久的忠诚度，是否有转向竞争对手的可能。基于斜率的异常客户挖掘算法正是要解决识别客户性质这一问题。
2.算法描述
算法:Outlier_Analysis。根据输出的a值来判断异常客户的性质:积极的或消极的。
输入:客户数据,即参考点，由有序点对(xi，yi)表示；参考点的个数n。
输出:a(直线的斜率），b(直线在y轴上的截距）。
方法:
（1)初始化a、b。
（2)对客户的n个观测数据(即n个记录点)进行相关数据计算：
（3)ifa<0then
客户购买金额呈减少趋势，为消极客户
else
2技术方案
2.1电视商城前端管理系统功能模块
前端管理系统软件架构图如图2所示。电视商城前端管理系统由客户管理、栏目及商品信息管理、电视数据同步管理、电视数据交互、对账管理、支付管理、用户管理、日志管理等功能模块组成。客户管理模块主要包含电视商城用户的注册、登录、收藏等一系列客户行为的管理；栏目及商品信息管理模块主要为电视上商品及栏目提供统一格式的一系列的后台数据。电视的栏目主要是通过时间、频道号、节目号做关联；电视数据同步管理模块主要是指后台同步电商数据的一系列管理。主要是指后台同步电商数据的一系列管理；电视数据交互模块主要是指与电商数据接互的后台接口的处理；对账管理模块主要是指与电商的一个订单对账管理，包含支付情况的对账；支付管理对接第三方支付平台，如支付宝等；系统日志管理模块主要是指后台日志系统的增删改查操作，以便系统用户跟踪问题。
2.2多屏互动、电视映像触控
电视映像触控技术彻底丢掉了繁琐输入工具，是革命性、颠覆性的技术创新，为电视设备提供了简单的操作，用户可以像操控手机一样操控电视，解决了长期以来久攻不克的电视输入难题。行业分析者认为将会在未来几年内有上万亿的市场前景。用户可以通过手机或Pad操控大屏电视、搜索视频、缩放网页、拖动图片、玩转重力游戏，带给你前所未有的电视体验，或通过手机或Pad在家里的任何地方观看电视实时播放的内容，畅想多屏互动的乐趣。通过高速Wi-Fi连接，只需要各设备在同一个局域网。实现了手机、Pad、电视“零延时”同步，精彩多屏看，真正实现“大屏映小屏、小屏控大屏”。当机顶盒接收到直播Server的数据后会将EPG数据保存，当手机、Pad请求的视频播放状态信息时，机顶盒会通过Wi-Fi网络将EPG信息发送给手机、Pad。手机、Pad将直播视频播放的状态信息发送给前端服务平台，前端服务平台每天会定时请求直播Server来获取和解析EPG信息的详细内容，当接收到手机、Pad视频播放信息时，则会自动匹配相关的program内容，并将匹配到的商品信息等通过后台的编辑人员编辑加工入库后传送给电视商城系统。电视商城系统接收到前端服务平台关联的商品信息后，会返回商品的详情、购买情况等信息，然后由前端服务平台将数据打包传送给手机、Pad，此时用户在移动终端已经完全可以浏览到与直播相关联的商品信息并与电视商城系统平台之间进行交互，完成商品购买。
2.3数据挖掘和精准推送
数据挖掘和精准推送流程图。当用户开启电视商城系统平台的服务客户端观看直播时，会发起关联请求，此时机顶盒会将用户所观看的直播节目和当前的时间记录下来发送给服务端请求关联商品界面及关联的内容，初步请求按照channelname+time查找关联界面，如果找到则放回固定的Link_epg_gues_goods中，如果不存在则只按照channelname查找关联界面，若channelname存在，则返回关联频道的link_epg_gues_goods，如果不存在，则返回通用的关联商品界面Link_epg_home_goods。在服务端接收到请求消息后会在服务端统计数据并进行分析用户的行为，最终返回关联商品界面，供用户购买。
关联分析即找出两个或以上变量之间同时出现的规律、因果结构，即通过其他事物可对某个与之相关的事物做出预测。数据挖掘关联分析的主要作用就是分析海量数据中潜在的关联规则，对于高校图书馆个性化服务而言，即从图书馆数据库中发现相关的关联规则，针对用户的信息需求做出准确预测，提高信息推送的针对性，便于用户获取所需的信息。聚类即将数据库中的一组个体按照相似性归结为若干类型，应用于图书馆系统中，就是将相似的文献集中在一起，用户在搜索相关文献时可以查阅更多其他相关内容，便于其总结、归纳；在个性化服务中还可以通过聚类汇总用户所需的特定信息。分类与聚类相似，是按照分析对象的属性建立类组，用户查阅资料的过程中，每种信息的重要程度有所不同，通过分类可以将用户所需求的知识分为高度需求、中度需求及低度需求。在高校图书馆个性化服务中要对用户的使用规律做出预测，即根据用户历史查阅记录对用户所需的文献种类、特征等做出预测。时序模式主要是通过时间段对用户的访问记录、检索过程做出标志，再通过时间序列将重复率较高的内容挖掘出来，以预测其下个信息需求，提高用户查阅资料的便利性。
1.2图书馆中应用数据挖掘的必要性与可行性分析
图书馆应用数据挖掘技术的必要性体现在以下几个方面：首先，信息化需求。用户的借阅记录、检索记录均存储于图书馆数据库中，需要利用数据挖掘技术将这些海量数据转换为有用的知识信息，以便于馆员做出决策。其次，图书馆的管理需求。传统图书馆系统仅能为用户提供简单的访问、检索等功能，这些功能无法满足图书馆个性化的技术要求，因此要利用数据挖掘技术将用户借阅数据中隐含的关联性发掘出来，从中发现有用的知识信息。最后，用户服务的需求。数字化图书馆的发展越来越迅速，用户通过图书馆获得的资源也越来越丰富，如何从海量的信息资源中发掘出对用户有用的知识信息，仅依靠传统的图书馆管理系统无法解决这一问题，因此要利用数据挖掘技术对用户的借阅记录进行分析，从中获得更多有价值的信息，以提高图书馆的服务质量及馆藏利用率。而在图书馆个性化服务中应用数据挖掘技术也是可行的，一方面很多图书馆已具备比较好的物质条件及人才条件，这些均是图书馆个性化服务中应用数据挖掘技术的必要条件，而且政府在经济方面、政策方面也为数据挖掘的应用提供了更多保障；另一方面，近年来数据挖掘技术也有了长足的发展，其足以为图书馆的个性化服务提供必要的技术支持。图书馆数字化发展过程中需要采集、购置更多的数据资源，而利用数据挖掘技术可以为图书馆资源建设提供指导作用，挖掘图书馆的历史借阅记录，可进一步了解用户的借阅习惯、阅读兴趣及信息需求，并且可以对不同图书之间的关联性进行深入分析，图书馆员根据这些信息记录、分析结果等提供指导，可以提高图书资源分配的合理性，对馆藏布局进行优化。由此可见，数字化图书馆个性化服务中应用数据挖掘技术十分必要。
2图书馆个性化服务的具体体现
高校图书馆个性化服务是指根据每个用户的专业、爱好、研究方向、探索领域及特殊服务为其提供更具针对性的信息服务，帮助用户查阅更加完整的信息资料，便于其学习、研究。高校图书馆个性化服务具体体现在以下3个方面：
①用户可根据自己的需求定制相关信息，以保证其在图书馆中能够查阅到相关资料；图书馆利用数据挖掘技术发现用户的兴趣爱好，为其定制个性化的访问空间。用户访问图书馆数据库时会将其兴趣爱好间接地反映出来，如果用户不感兴趣，在页面停留的时间会较短，停留时间较长则说明比较感兴趣；利用用户的浏览路径信息时间即可将用户对信息资源的感兴趣程度发掘出来。
②提高图书馆资源利用率。利用数据挖掘技术可以识别图书馆网站内频繁访问的路径及用户访问次数较多的页面，可以将新书信息、重要的分类信息放在这些路径上，从而向用户主动推送其所需要的信息资源，提高图书的利用率。
③优化链接结构，提高用户应用的便利性。对Weblog进行挖掘，可以发现用户访问页面的相关性，增加联系比较密切的网页之间的关联性；发现用户的期望位置，如果用户访问期望位置的频率高于对实际位置的访问频率，则可在二者之间建立导航链接，优化站点。
④查新服务与定题服务。传统图书馆主要通过查询光盘数据库、文献数据库等进行查新服务，而随着网络技术的不断发展与应用，外部网络信息及更新的速度远远超过图书馆内部网络，因此要加强网络平台的建设，以保证服务结果的真实性与可靠性。数字图书馆在进行查新与定题服务过程中，可以利用可视化技术为用户提供在线即时信息分析。
3图书馆个性化服务中数据挖掘技术的应用
图书馆个性化服务数据挖掘技术的应用流程如下：建立读者数据仓库——数据收集——挖掘算法的选择——挖掘结果的显示——对结果的评价。
3.1建立读者数据仓库
数据挖掘过程中，在确定了挖掘目标后，即开始进行数据准备，从大量数据中选择一个与需挖掘目标相关的样板数据子集。此时需要建立一个数据仓库，其主要作用是将所有挖掘目标所需的数据保存其中，如果未建立数据仓库直接进行数据挖掘，可能会导致挖掘失败，因此数据挖掘的前期工作大部分用于准备数据，因此建立数据仓库是一个至关重要的准备工作。高校图书馆个性化服务中应用数据挖掘技术，第一步就是建立用户的兴趣库及图书馆自身的特色资源数据库。用户使用图书馆的过程中，必然会产生大量的借阅记录，访问图书馆网站会留下访问记录，这其中均潜藏了大量有意义的信息。
3.2数据收集
在建立用户兴趣库及特色资源数据库后，必须对这两个数据库中的数据进行分析、调整，以保证原始数据的质量，从而保证数据挖掘结果的质量。数据收集即数据的分析与调整可以分为数据抽取、数据清洗及数据转换等3个步骤。其中数据抽取的主要作用是将与挖掘目标相关的数据信息搜索出来；数据清洗则是对数据进行噪声消除、重复记录的消除及推导计算缺值数据等。图书馆每天会产生大量的用户相关的数据，并非所有的数据均对整个挖掘处理过程有正面作用，有些数据可能会对挖掘效果产生负面影响，因此剔除这些无用的数据十分必要。数据转换的主要作用是精减数据维数，从初始特征中分析出真正有用的特征，通过数据转换可有效减少数据挖掘时需要考虑的变量数。
3.3选择算法及建立模型
数据挖掘过程中不同的算法可能会实现同一个任务，但过程却大相径庭，因此要根据数据的特点、实际运行系统的要求选择适用的算法。有些用户比较倾向于获取描述型的、容易理解的知识，有些用户则希望获取预测型知识，因此要针对不同的用户选择对应的算法，之后就要进行数据挖掘模型的建立。通过对用户分类、聚类及时间序列的分析，将每类用户的普遍性需求及个性化需求抽象出来，从而建立一系列的关联规则模型。一个模型完成后不一定可以立刻解决问题，需要对其进行反复验证，如果可以解决问题证明模型有效；如模型存在缺陷，则要通过反馈对模型进行修改、调整，或者选择新算法，建立新模型，对不同的模型进行全面考察。
3.4结果解释与知识表示
在建立数据挖掘模型后，可利用建立挖掘模型时所用的算法规则进行运算，即可产生数据挖掘结果，图书馆只需对挖掘结果进行可视化、可理解化处理即可。要将抽象的数据解释成易读、易懂的结果，图书馆决策者及管理者即可根据可视化的挖掘结果进行决策。比如图书馆新引进了一批考古专业的学术论文，由数据挖掘模型分析结果可知，该批论文的查阅者90%均为考古专业的老师与学生，其他专业的师生查阅率不到10%，根据这一结果，即可将论文信息传递给考古专业的相关用户，以提高信息推送的针对性。
3.5结果的验证、应用及评价
产生挖掘结果后需要进一步实践，以验证结果的有效性与可用性，及对模型的实用性进行评价，并且挖掘结果还具备预测未来数据的功能。上一步的结果解释经过实践后，可对应用过程进行跟踪了解，获得用户的反馈信息，对结果的实用性进行验证。需要注意一点，即一个数据挖掘的模型与已有数据完全相符比较困难，且并非所有的环境、每个时间节点均适用于同一个数据挖掘模型，因此要对挖掘结果做出评价，如经过用户的反馈，数据挖掘出来的结果可以解决问题，实现了最初的挖掘目标，满足了用户需求，则可判定该模型是合理的。挖掘结果可以满足用户的要求，用户就会做出满意的反馈，将这一反馈信息提供给决策者即可做下一步的实施，完成该阶段后，图书馆就基本上实现了以用户为中心的个性化服务的数据挖掘过程。不过某些情况下模型的评价结果可能不尽如人意，即数据挖掘的结果无法满足用户的要求，这种情况就要由系统进行重新处理，重复上述步骤，重新抽取数据、选择另外一种数据转换方法、设定新的数据挖掘参数值、选择另外的挖掘算法等。由此可见，数据挖掘的过程是一个不断反馈的过程，体现出反复性的特点。
1.2数据挖掘这个过程是不断反复与重复的过程，在这个过程中可以不断发现一些潜藏的知识与信息，可以利用决策树或者规则学习等多种方法来进行分析统计。
1.3结果分析和评估在不断检测数据的情况下，得到的数据也在不断发生变化，大量数据下需要不断的分析与建模，这样才能不断发现新设备的运行过程与故障，从而保证在较短时间内获得故障诊断结果。
2数据挖掘的常用技术
数据挖掘技术算法的好快直接影响到所发现信息质量的好坏，目前对该技术的研究方向也集中在算法与应用方面，常用的技术主要有以下几点：
2.1粗糙集理论这项研究数据的不确定性的数学工具由波兰科学家第一次提出，并且在经过二十年的不断发展中已经广泛应用到人工智能的各分支中，不管是在模式识别还是机械学习等方面都带来了成功。成功应用主要还在于存在的几点优点：其一该理论不用事先给出额外信息，可以减掉冗余信息的输入，减轻数据的复杂度与输入时间。其二算法简单，更方便人们操作。虽然优点明显，但是缺点也存在，在对实际发生问题的处理过程中，抗干扰的能力十分差，有可能会直接影响故障分类。
2.2决策树技术决策树算法是一种外形像树的预测模型结构，树的节点表述所属类别，非终端节点表示问题属性。根据数据不同取值来进行分类，建立树的分叉，从而形成决策树。决策树的规则是可直观容易理解的，这一点是与神经元网络存在的最大不同点，由于算法直观所以分类不需要很多时间，所以十分适用于记录故障分类和分析预测。
2.3人工神经元网络技术这是目前数据挖掘技术使用最多也是最广泛的一项技术，该项技术主要是模仿人的神经系统来建立数据库的，从而分析数据库中的数据并进行预测与分类。与上述技术不同的是，神经元网络技术在机械故障十分复杂的情况下还能够得到较为准确的预测技术，因此可以处理一些连续变量的问题，但对于高维变量数据则不适合，主要原因在于其最大的特点是不透明性，不能够就是分析结果是怎样产生的，以及产生结果的推算过程，所以神经元网络技术比较适合于较为复杂数据的分析，比如聚类模式。典型三层前馈神经网络结构如图1所示。
2.4遗传算法这种算法来自于生物进化理论，其使用的适者生存观点，也救赎常把一些任务看成一项可以搜索的问题，进行遗传算法搜索，从而得到最优解。遗传算法可以解决很多数据类型的问题，还能够同时处理不同类型的数据，但计算的时候由于使用的参数过多，不少编码问题十分困难，计算量也十分大。
3数据挖掘技术在工业优化中的应用
工业优化也分类型，根据不同的优化类型的不同要求，要采取不同的挖掘技术来实现找出问题解决的办法。一些需要解决的优化目标比较容易获得评价或者说需要优化的问题是比较容易表达的这些情况下，通常使用遗传算法进行全局搜索，这样比较方便。比如工业配方、工艺工序组成等。粗糙集方法可以用于需要学习目标值与其相关变量间的定量关系，利用技术来挖掘数据库中的目标数据间的关联规律，当然也可以利用神经网络技术来找寻目标值与数据间的模糊关系。想要确定优化目标边界，可以采用隧道映射方法。通过假定各变量目标需要优化的边界在二维空间中体现出来的是一个凸出来的多面体来包围显示的。定量预测的一个十分好的方法就是非线性回归预测，可以先利用模式识别方法来收集数据，建立数据结构，再根据相关数据确定非线性回归的方程式，最后再进行非线性回归，不过这样做会存在一个明显缺点就是要在进行非线性回归预测之前要主观确定方式公式。向外推广寻找更优化的方式在工业应用上更为有效，可以采用多种方法配合使用，形成一种比较适用于各种数据结构外推寻优的数据处理过程。
4数据挖掘技术在设备故障诊断中的实现步骤
4.1基本原理数据挖掘技术主要是利用历史数据里的设备运行记录来对现在机械设备出现故障的原因进行诊断，分析其原因并找出解决方法，并对未来可能出现的故障做出预测。机械设备故障的根本性质就是模式识别,所以对其诊断的过程也就是模式获得并匹配的过程。
4.2故障诊断的数据挖掘方法建模对机械设备故障诊断，首先要做的就是要收集与本设备相关的大量数据，不仅要有机械正常运行工作时的数据，更要有机械出现问题时产生的数据，一般现场的监控系统都存有历史数据与故障数据，而且现在的检测系统十分先进，出现故障的时候已经对此进行分类，这样数据收集的时候更加方便。进一步完成各项数据的获取并建立完整的数据库。而数据挖掘技术的目标就是要从这些杂乱无章的大量数据中找出潜藏在里面的相关规律与信息，并且提取信息特征。一般故障类型的划分，可以根据概率统计来进行，这也是现在刚出现的一种新方法。目前故障模式识别理论中比较成熟的理论是关联规则理论，这是一种利用数据间相互关联关系来达到分类的最终目的。根据相关之间的关联关系划分出类别，并对新数据进行归纳，分析故障类别，这样更快速的找到故障原因并进行解决。数据挖掘系统总体设计策略如图2所示。
一、电子商务和数据挖掘简介
电子商务是指个人或企业通过Internet网络，采用数字化电子方式进行商务数据交换和开展商务业务活动。目前国内已有网上商情广告、电子票据交换、网上订购，网上银行、网上支付结算等多种类型的电子商务形式。电子商务正以其成本低廉、方便、快捷、安全、可靠、不受时间和空间的限制等突出优点而逐步在全球流行。
数据挖掘(DataMining)是伴随着数据仓库技术的发展而逐步完善起来的。数据挖掘主要是为了帮助商业用户处理大量存在的数据，发现其后隐含的规律性，同时将其模型化，来完成辅助决策的作用。它要求从大量的、不完全的、有噪声的、模糊的和随机的数据中，提取人们事先不知道的但又是潜在有用的信息和知识。数据挖掘的过程有时也叫知识发现的过程。
而电子商务中的数据挖掘即Web挖掘，是利用数据挖掘技术从www的资源（即Web文档）和行为（即We服务）中自动发现并提取感兴趣的、有用的模式和隐含的信息，它是一项综合技术涉及到Internet技术学、人工智能、计算机语言、信息学、统计学等多个领域。
二、Web数据挖掘对象的分类
Web数据有3种类型：HTML标记的Web文档数据，Web文档内连接的结构数据和用户访问数据。按照对应的数据类型，Web挖掘可以分为3类：
1.Web内容挖掘:就是从Web文档或其描述中筛选知识的过程。
2.Web结构挖掘:就是从Web的组织结构和链接关系中推导知识。它的目的是通过聚类和分析网页的链接，发现网页的结构和有用的模式，找出权威网页。
3.Web使用记录挖掘：就是指通过挖掘存储在Web上的访问日志，来发现用户访问Web页面的模式及潜在客户等信息的过程。
三、电子商务中数据挖掘的方法
针对电子商务中不同的挖掘目标可以采用不同的数据挖掘方法，数据挖掘的方法有很多，主要包括下面3大类：统计分析或数据分析，知识发现，基于预测模型的挖掘方法等。
1.统计分析。统计分析主要用于检查数据中的数学规律，然后利用统计模型和数学模型来解释这些规律。通常使用的方法有线性分析和非线性分析、连续回归分析和逻辑回归分析、单变量和多变量分析，以及时间序列分析等。统计分析方法有助于查找大量数据间的关系，例如，识别时间序列数据中的模式、异常数据等，帮助选择适用于数据的恰当的统计模型，包括多维表、剖分、排序，同时应生成恰当的图表提供给分析人员，统计功能是通过相应的统计工具来完成回归分析、多变量分析等，数据管理用于查找详细数据，浏览子集，删除冗余等。
2.知识发现。知识发现源于人工智能和机器学习，它利用一种数据搜寻过程，去数据中抽取信息，这些信息表示了数据元素的关系和模式，能够从中发现商业规则和商业事实。利用数据可视化工具和浏览工具有助于开发分析以前挖掘的数据，以进一步增强数据发掘能力。其他数据挖掘方法，如可视化系统可给出带有多变量的图形化分析数据，帮助商业分析人员进行知识发现。
3.预测模型的挖掘方法。预测模型的挖掘方法是将机器学习和人工智能应用于数据挖掘系统。预测模型基于这样一个假设：消费者的消费行为具有一定的重复性和规律性，这使得商家可以通过分析收集存储在数据库中的交易信息，预测消费者的消费行为。按消费者所具有的特定的消费行为将其分类，商家就能将销售工作集中于一部分消费者，即实现针对四、Web挖掘的作用
通过收集、加工和处理涉及消费者消费行为的大量信息。确定特定消费群体或个体的兴趣、消费习惯、消费倾向和消费需求，进而推断出相应消费群体或个体未来的消费行为，然后对所识别出来的消费群体进行特定内容的定向营销，节省成本，提高效率，从而为企业带来更多的利润。
1.优化Web站点。Web设计者不再完全依靠专家的定性指导来设计网站，而是根据访问者的信息来设计和修改网站结构和外观。站点上页面内容的安排和链接就如超级市场中物品的摆放一样，把相关联的物品摆放在一起有助于销售。网站管理员也可以按照大多数访问者的浏览模式对网站进行组织，按其所访问内容来裁剪用户与Web信息空间的交互，尽量为大多数访问者的浏览提供方便。
2.设计个性化网站。强调信息个性化识别客户的喜好，使客户能以自己的方式来访问网站。对某此用户经常访问的地方，有针对性地提供个性化的广告条，以实现个性化的市场服务。
3.留住老顾客。通过Web挖掘，电子商务的经营者可以获知访问者的个人爱好，更加充分地了解客户的需要。根据每一类(甚至是每一个)顾客的独特需求提供定制化的产品，有利于提高客户的满意度，最终达到留住客户的目的。
4.挖掘潜在客户。通过分析和探究Web日志记录中的规律，可以先对已经存在的访问者进行分类。确定分类的关键属性及相互间关系，然后根据其分类的共同属性来识别电子商务潜在的客户，提高对用户服务的质量。
5.延长客户驻留时间。在电子商务中，为了使客户在网站上驻留更长的时间就应该了解客户的浏览行为，知道客户的兴趣及需求所在，及时根据需求动态地向客户做页面推荐，调整Web页面，提供特有的一些商品信息和广告，以使客户满意。
6.降低运营成本。通过Web挖掘，公司可以分析顾客的将来行为，进行有针对性的电子商务营销话动，可以根据关心某产品的访问者的浏览模式来决定广告的位置，增加广告针对性，提高广告的投资回报率。可以得到可靠的市场反馈信息，降低公司的运营成本。
7.增强电子商务安全。Web的内容挖掘还包括挖掘存有客户登记信息的后台交易数据库。客户登记信息在电子商务话动中起着非常重要的作用，特别是在安全方面，或者在对客户可访问信息的限制方面。
8.提高企业竞争力。分析潜在的目标市场，优化电子商务网站的经营模式，根据客户的历史资料不仅可以预测需求趋势，还可以评估需求倾向的改变，有助于提高企业的竞争力。
五、小结
本文介绍了在电子商务中可以被用来进行数据挖掘的数据源，以及可用于电子商务中的基于Web上的几种数据挖掘技术。将数据挖掘技术应用于电子商务，对这些数据进行挖掘，可以找出这些有价值的“知识”，企业用户可以根据这些“知识”把握客户动态，追踪市场变化，做出正确的针对性的决策，比如改进网站、向各类用户推出个性化的页面，或者向高流失客户群提供优惠政策进行挽留等等。但是在电子商务中进行Web的数据挖掘时还有很多问题需要解决。例如，如何解决不同国家不同地区存储Web数据的语义不一致性，如果提供更安全、快捷的服务方面还有很多工作要做。
参考文献：
[1]郝先臣张德干尹国成赵海:用于电子商务中的数据挖掘技术研究.小型微型计算机系统[J].2007(7)786～787
[2]赵焕平等:WEB数据挖掘及其在电子商务中的应用.福建电脑[J].2008(1)167
