深入登降数据利用_后台版3.49

引言

　　随着大数据时代的到来， 数据资源正日益显现出与传统自然资源不同的特性， 成为国家信息能力提升的基石和来源 .世界各国均在高度重视和大力发展数据资源挖掘利用 ,对于数据的掌握及运用能力 ,在一定程度上体现了国家的信息能力和综合国力，并与国家安全息息相关 。如何对各类数据进行深度挖掘分析 ,以发挥其最大功效 ,是当下一个重大的科研课题和应用难题 。 本文从登降数据着手 ,就其收集、 存储、预处理、 挖掘利用等方面进行深入探讨 。

登降数据概述

　　登降数据是指在信息系统运行过程中因提供服务而产生或使用的活动数据记录 ,其可以客观、连续、实时的反映信息系统活动周期全过程，成为维护网络安全的重要数据资源 。 传统的登降数据利用在其数据形态、 存储结构经全局定义规范化后 ,在 LoginAlarm 或其他相似平台实现登录过程的事中、事后监管 。 为了提高系统的运行效率及动态灵活性，一些登陆日志未能进行规范化输出 ,这在一定程度上限制了登降数据的应用范围 ，但此类数据包信息更加丰富， 对其挖掘利用会具有更高价值。

登降数据的收集及存储

　　登降数据的收集主要从以下几个方面入手 ：

　　1数据来源多样化。 登降数据的获取现目前主要来自 :网络系统自身产生的数据 （包括客户端和服务端）,外部辅助系统产生的数据 （如认证、计费等平台）及人工收集的数据 。 要实现登降数据的深度挖掘就需要收集更多的相关数据 ， 并且数据来源需是多种类型、多个数据源 ,只有这样才能满足海量数据之一 “大”特征。

　　2 动态收集与静态收集相结合则侧重点会有所不同 。 静态收集主要依附于系统日志记录，可实时性不强，数据量少，针对特定事件挖掘价值较高，如登录认证平台的密码尝试次数超出上限后升级操作。 动态收集由于是实时记录登录信息，海量特征明显，可对网络安全态势进行快速准确的分析，例如电信级IDC的登录流量突然增加则可能是 DDoS 攻击

　　3 被动收集和主动收集相结合， 其中 .被动收集着重点是记录数据存储过程，主动收集着重点是采集发起过程。结合被动收集和主动采集两者特点 ，既可以从产生源获取实时的信息记录，又可以实现对于数据自身更深层次的挖掘。

　　针对收集所得的数据进行存储 ,首选海量存储设备 ——SAN .SAN以其高速的数据传输速率、 方便的数据备份功能、 较高的数据可靠性成为海量数据存储的首选存储设备 。但综合考虑存储成本及维护成本，结合数据使用需求，可以将少量需要用于深度挖掘的数据存储在 SAN 上过度使用会加大存储成本。

登降数据的预处理

　　登降数据的预处理是指运用一定的算法预取输入数据的冗余信息和一致信息，提高数据的表征能力，降低数据的复杂度，提高数据的利用率和有效性。登降数据的预处理方法主要有以下几种 ：

　　1 数据清洗。 数据清洗的目的去除重复的数据，消除噪声和不一致性的数据，规范化数据格式使其标准化。 数据筛选的方法有统计方法和利用领域知识的诊断方法两种。统计方法就是基于数据的频率和粒度进行裁剪，诊断方法就是运用经验分析的方法剔除不符常规的数据。

　　2 数据集成。 数据集成就是把来自多样化的数据源中的数据合并在一起，并存储到一个一致的视图中的过程。 在数据集成过程中 ,标签不一致性是一个重要问题。要解决数据类型的不一致性问题，就需要将数据间的对应特征变成相同的标签。

　　3 数据变换。 数据变换是在预处理过程中改进原有属性的方式来增强数据的可理解性，具体方法有规范化和属性构造。数据规范化就是把属性按比例缩放，使之落入一个小的、 指定的范围；属性构造则是创建新的特征来表现数据潜在的结构和性质。

登降数据挖掘利用

　　登降数据挖掘利用主要有以下几个方面 ：

　　1 蓝牙测向设备多峰值分析法。蓝牙信号强度非线性关系的处理可以利用蓝牙RSS漂移特性和相关方法克服RSSI的缺点：采用多种设备、技术测量距离；用概率估计距离和位置。

　　2 无线网络定位数据挖掘。针对用户移动过程中的无线网络连接状态变化进行分析，发掘移动终端用户上网规律和行为特征；针对受网络状态影响的广告业务和传统业务进行分析，寻找新的业务增长点，可应用于无线广告精确投放、基站优化、用户流量创新套餐设计。

　　3 无线网络拓扑发现技术。根据无线信号发现用户接入状态变化、手机状态变化等，发现核心网与无线网络的拓扑关系；结合物理网络实际上下三层的拓扑结构，分析运营商实际网络的用户分布及使用特征。

总结

　　登降数据资源具有价值密度低、类别繁多、缺乏标签、海量的特征 .如何把握这些特性对数据进行深度挖掘 ，是目前科研的一大挑战本课题以登降数据为研究对象探讨其从生成、存储到挖掘利用的相关技术，力图突破现有研究的约束，实现登降数据资源分析方法的创新，丰富登降数据资源的利用方式 。