KDD'19网络流量异常检测分析方法汇总

KDD‘19 数据集数据集包含9个星期的网络连接监控记录,其数据包含以下几种类型: * Normal:正常 * DOS: 拒绝服务攻击 * Probing:端口,ip,以及nmap扫描等 * R2L: 远程机器的非法访问 * U2R:普通用户对本地超级用户特权的非法访问

NSL-KDD是UNB(该网站还包括其他安全相关的数据集可以用来数据分析,例如IDS,Botnet等)在KDD'99数据集上的改进,其优势在于: * 减少了原训练集和测试机中多余、重复的数据,使训练结果不会偏向高频出现的数据记录 * 调整了不同类别下数据的百分比 * 数据集的大小更加合理

数据集中的具体异常类型,以及特征可以查看该链接KDD'99详细说明,这里选取几个样例说明: * Label: * DOS(Smurf): DOS攻击的一种,通过发送大量Ip包耗尽带宽 * Ip-sweep(Probe): 对多个主机地址进行扫描或ping * Port-sweep(Probe): 对端口进行扫描,确定单个主机上支持哪些服务 * Nmap(Probe): 利用nmap工具进行网络映射,包括SYN(TCP的第一个包) * Feature: * duration: 连接时间长度(单位:秒) * Protocol_type:协议类型,如tcp,udp * Service:在目标机的网络服务,如http,telnet等 * src_bytes:源地址到目标地址的数据流量 * dst_bytes:目标地址到源地址的数据流量 * count:过去2秒内与当前连接有着相同的目的地址的连接 * same_srv_rate:建立相同服务的连接比例(同一host) * diff_srv_rate:建议不同服务的连接比例(同一host) * srv_count:过去2秒时间内出现和当前连接服务相同的连接数量(同一host) * srv_diff_host_rate:连接不相同主机的比例(同一host)

查看更多

Kafaka和Flink的流式处理比较

转载翻译自: Flink and Kafka Streams: a Comparison and Guideline for Users


Apache Kafka项目在大多数开源流处理器中一直是一个共同的组件,用以低延迟存储和数据移动。最近,Kafka社区引进了Kafka stream,一个流处理库,作为Kafka的一部分。随着Kafka stream和Kafka Connect的加入,Kafka现在增加了重要的流处理功能。

Apache Flink 根植在高性能集群计算和数据处理框架中。Flink可以运行内建的的流式处理计算,这些计算可以部署在 YARN、Mesos 或 Kubernetes 等资源管理器上。Flink jobs使用流数据并将数据生成到流、数据库或流处理器本身。Flink 通常与 Kafka 一起用作底层的存储层,但二者互相独立。

查看更多

Lifelong Anomaly Detection Through Unlearning(UCB,CCS'19)

主要贡献

  1. 首次提出终身的深度学习来进行异常检测。为此提出了一个unlearning框架。
  2. 提出了一个解决爆炸损失(exploding loss)和灾难性遗忘(catastrophic forgetting)的方法,前一个是异常检测的问题,后一个是解决终身学习的问题。
  3. 抽象了一个理论的框架可以生成异常检测的模块,unlearning方法可以作为一个普适的方法。
查看更多