NTM
简介
Panabit NTM（Network Trace&Monitor）是一种全新的， 基于超级摘要的全流量分析产品。专门为金融、能源、医疗、军队、 政府、 运营商、教育、集团企业等客户提供高性能、高可用性、功能丰富的全流量分析解决方案。能够满足用户对网络故障定位、网络未知威胁发现、原始数据包溯源等全方位需求，赋予用户最细粒度的可视能力。
产品架构
NTM的整体设计遵循分布采集、集中分析、具体呈现的原则，运用大数据、数据融合等技术手段，基于现有基础设施，整合多方资源，进行标准化体系接口的设计，采用采集层、核心功能层以及展示层的三层架构：
- 采集层实现数据的汇聚采集。立足于接收宽带网络、无线网络、移动网络、云端网络等数据，采用分布式多点监测的方法，采集手段多样，支持使用分光、SPAN、TAP或串接和遥测等方式。
- 核心功能层实现数据的识别、管理、分析及控制。针对采集的数据进行协议预处理、流量规则预处理，并使用数据管理，对数据进行分析。同时，可以根据需要对采集的数据进行控制处理，实现远程镜像及异常流量阻断。
- 展示层实现对网络中关键信息的推送呈现。利用多源数据汇聚、知识图谱构建等方式，集中展示动态态势感知大屏、质差分析图表、用户行为画像以及网络故障告警等信息，方便运维人员进行整网的流量监控，快速定位问题。
核心功能
NTM的核心功能包含数据采集、数据管理、数据分析与数据控制四大模块。各个模块之间互相配合，形成一个有机的整体。从发现问题再到解决问题，形成一个识别-分析-溯源-管控的闭环。
数据采集模块
基于精准的应用识别能力，数据采集模块实现流量的采集与识别分类。在应用识别中使用了DPI引擎，将传统DPI技术中的基于“特征字”的识别技术、应用层网关识别技术、行为模式识别技术有机的整合起来，有效的灵活的识别网络上的各类应用。
数据采集模块目前支持1400多种协议和应用的自动识别，从而为用户提供全面的、有效的、灵活的大数据处理基石。
数据管理模块
数据管理模块实现原始数据包，以及流量日志数据的存储与管理。Panabit的全流量探针NTM产品具备一套完整的智能文件管理系统，以达到稳定快速的数据包存盘，以及数据包快速检索的目的。该系统具备以下三种特性：
1. 时序存储
对采集的数据进行时序存储，并采用固定块大小，固定文件个数，轮循覆盖最老文件，减少硬盘存储碎片。
2. 数据压缩
通过内存进行原始数据压缩，减少硬盘存储文件的数量，以达到存储性能提升的目的。并且由于内存擅长文件的压缩，使用内存进行数据压缩并不会消耗太多性能。
3. 分级存储
智能文件管理系统支持元数据与原始数据包的分级存储，元数据存在SSD中，原始数据包存在机械硬盘中。以此保证索引信息的快速查询，又不会因为原始数据包过多，造成用户硬盘存储成本的增加。
数据分析模块
数据分析模块实现对原始数据包，以及流量日志数据的分析工作。除了浏览查询等基本操作，NTM还提供了针对网络数据的性能分析与安全分析。
1. 性能分析
对比传统的网络性能检测系统，数据分析模块能够提供业务级别的性能感知，看得更深、更广。除了可以识别出应用协议数据结构，NTM还能看到应用协议的交互流程，以及业务的传输服务性能。既可以实现业务性能指标的实时查看，在出了问题后，也可以按需追溯，找到问题所在。
2. 安全分析
对于传统的安全设备而言，由于其所秉承的“黑名单”理念，它们更关注于已知威胁的表现。但是，全流量分析中相当重要的一部分是对未知威胁的探索，因为无论是操作系统、应用软件或是网络设备均普遍有可能存在未知的漏洞。NTM能够根据威胁情报系统检测已知威胁，并通过对异常网络行为的分析，发现未知威胁。
数据控制模块
数据控制模块实现针对流量的控制，以及数据包的按需采集。数据控制模块的逻辑如下图所示。
数据控制模块分为流量控制与抓包控制两个子模块。与其他全流量分析设备不同，NTM支持串接部署，并在串接的基础之上对流量进行管控。NTM在串接部署时，数据从内网接口进外网接口出，或者从外网接口进内网接口出，在这个过程中，NTM默认不会对数据做任何干预。如果要对数据进行干预，则可以配置控制策略来实现，解决了分析设备缺乏反制干预能力的问题。
此外，在对流量精确识别的基础上，NTM的数据采集模块可以做到数据包的按需采集。例如基于应用协议抓包（只抓HTTP的数据包）；或者基于策略抓包（对于HTTPS的应用，只抓前100个包，其他应用则全部抓）等。这样可以合理采集所需的流量，有针对性地进行储存分析，更加有效的利用磁盘空间。
产品特性
1. 精准的应用识别能力
无论是NTM对于数据的按需采集，还是针对数据的全流量分析而言，应用识别的准确性都是基础中的基础。Panabit从建立之初就主攻七层应用识别技术，现网识别率≥95%，可以辨识和控制常见的14大类过千种应用。除了传统的DPI、DFI外，Panabit还使用了节点跟踪、主动探测及协议多状态机等识别技术来保障识别率。与此同时，藉由互联网助力，Panabit拥有业内最庞大的测试队伍和最全面的测试环境，这是Panabit始终保持最快的未知应用样本获取速度、最精确的协议识别率的生态基础。
2. 数据包网络采集性能
要实现全网的流量分析，对探针的数据包采集和应用识别能力都提出了挑战。实际上早在DPDK出现之前，Panabit所推出的PanaOS系统就已成为了x86界的楷模。PanaOS具备自己的CPU调度机制、驱动和协议栈，成为一个独立的、脱离底层操作系统运行的OS，并以线程方式运行在底层操作系统之上。Panabit推出的NTM产品，仍旧延续了PanaOS的优秀素质。
3. 分布式的全流量分析
Panabit NTM支持L7应用级的遥测，在处理大规模、精细化的网络监控需求时能够从容处置、游刃有余。Panabit的分布式全流量分析，分支点探针轻量部署，统一在总部进行流量数据的存储和分析，避免信息孤岛的出现；同时，流量的按需采集与按需回传，也解决了探针投入成本过高的问题。
4. 原始数据的超级摘要
全流量数据采集的难题克服后，数据的分析仍然面临着挑战，这个问题主要是巨大的原始流量造成的。现网中1Gbit/s的带宽，每天会产生约10.8T左右的存储，面对如此海量的数据，在其中寻找有用的数据无疑是大海捞针。原始数据固然重要，但只有经过加工的原始数据才是有价值的数据，加工后的原始数据即是超级摘要。NTM提供了原始数据的超级摘要，以此来大大提高数据分析效率。
5. 异常流量的反制干预
对于不同的流量分析产品而言，其分析的方式五花八门，各有千秋，分析得出的结果也各自具有其独特的价值。但分析问题最终的归宿是解决问题，但全量数据包抓取的系统大多无法对流量进行管控，NTM的出现则弥补了全流量分析产品的这一空白。