Panalog

来自Panabit维基
跳到导航 跳到搜索

产品定位

Panalog大数据日志审计系统定位于将大数据产品应用于高校、 公安、 政企、 医疗、 金融、 能源等行业之中,针对网络流量的信息进行日志留存,可对用户上网行为进行审计,逐渐形成大数据采集、 大数据分析、 大数据整合的工作模式,为各种网络用户提供服务,主要实现以下几大目标:

1.资源引入指导

充分分析网络中设备资源利用率,对分布式收集的资料信息进行统一的分析处理。利用资源侦测工具对政企单位专网、运营商网络、 IDC 中的设备资源进行主动探测收集、分析整理、可视化界面输出。

2.应用优化导向

基于精准的数据采集平台,将数据集中分析切片,针对每一个应用进行切片分析后,得出该应用使用过程中存在的问题。明确每类应用,每个应用的网络流向,为应用的优化提供参考依据。

3.安全态势感知

大数据态势感知,借助对流量的精准识别,当网络设施与服务遭受到攻击后,对异常流量行为进行趋势呈现,任何网络异常也无法躲过监测。通过对异常流量的报文分析、目标 IP分析、 目标域名分析以及源 IP 信息分析等, 全方位的综合呈现异常的行为, 原原本本的恢复故障发生时的网络状态, 为进一步定位网络问题提供依据。

数据分析的结果最终是需要完美呈现的, Panalog 通过FlowMonitor界面,针对网络流量进行动态的展示:

Panalog-FlowMonitor大屏

4.网络优化分析

为网络做一次全面体检,并给出诊断建议。用于提升网络使用效率,优化关键业务体验,划分运维职责。得益于精准的业务识别能力, 能够让 Panalog 收到准确的业务流量,基于NPM模块,对网络中的每条流量进行精致化分析,最大限度的提升网络的利用率和用户的使用体验。

5.网络资产监控

在解决流量可视化的同时,对数据中心服务器资产进行梳理和监控,并发现数据中心的违规应用,且对服务器域名和端口进行监控。同时,通过微信一键断网功能,实现网监要求的“快速关停”,让运维工作变得更轻松、更安心。

产品架构

Panalog-产品架构

本系统遵循“分布采集”、“集中分析”、“具体呈现”的原则,依托宽带数据、无线数据、移动数据、云端数据等,运用大数据、数据融合等技术手段,基于现有基础设施,整合多方资源, 面向网络监管业务,进行标准化体系接口的设计,采用数据采集及预处理系统、数据分类处理及汇聚子系统、大数据分析子系统、视图展示等四层架构。

数据采集及预处理系统实现数识别采集、协议预处理、流量规则等预处理。数据采集采用布点监测构建重点保护目标监测及发现能力。立足于接收宽带网络、无线网络、移动网络、云端网络等。

数据分类处理及汇聚子系统针对数据管理、多源数据汇聚、知识图谱构建等数据进行分析,同时整合网络全流量与威胁情报库,针对网上的异常流量进行分析统计和识别。

大数据分析子系统实现资产管理分析、态势感知流量分析、用户上网行为审计。最终形成视图展示,实现流量可视化、态势分析、用户画像、IP 轨迹定位等。

产品功能

1.流量监控分析

实现网络的流量可视化和应用精细化展示,将每一比特流量的具体应用呈现出来,便于网络管理者进行分析、定位、处理和优化,通过流量可视化管理,可以看到网络中上行、下行流量趋势以及各种协议占用带宽的百分比等信息。

对网络出口的 TOP IP 流量、TOP 并发 IP 数、TOP 应用均可实现统计分析呈现。从流量大小、连接数多少、应用的访问量等多维度呈现网络现状,记录网络大趋势。

2.流量流向分析

实现可视化的流量流向信息,全局下可以呈现整个网络中用户流量的最终落地位置,记录分析全网的 TOP 目标的同时标记地理位置,精确到省级单位。不管是目标服务器 IP还是目标地址,均可以通过划定时间区间去查询,并且同时呈现该用户的源 IP 地址、目标网络所属运营商、访问目标网络使用的 DNS 服务器。

展示协议分布地图,从协议流量占比和连接数占比两个维度进行统计,记录每一种协议的端口、上下行流量及连接数等。同时通过协议最终落地的地理区域清晰体现协议的分布情况。

3.用户行为分析

提供基础的 URL 查询功能,分析每一条的 URL 的用户地址、用户账号、访问方式、访问时间、应用协议、目标 IP、目标位置、所属运营商以及最终网址;可以基于域名查询分布地图,也可以通过域名查询并统计访问内网服务器的外网用户所属区域排名及外网用户所属区域分布。

通过用户轨迹标记和记录每个 IP 的轨迹形成热力地图,实现用户画像对某一时间内、某一区域内的用户进行上网行为分析,具体可以查看用户最终落地的服务器所属运营商分布信息、所属运营商连接数分布信息、用户访问域名排序、用户上下行流量速率、连接数趋势、域名访问排名及身份类型(QQ 号码、微信 ID、邮箱账号等)。

实现虚拟身份定位,目前可以对 QQ 号码、QQ 图片、QQ 微博、POP3 邮箱、新浪微博、淘宝账号、飞信账号、手机贴吧、IMEI、SSID 等进行查询,微信则作为最普及的及时通信软件,设立单独的界面实现对微信 ID、微信图片以及微信视频的查询。

对 DNS 流量进行深度分析,可以实现 DNS 服务器查询,对 DNS 服务器解析的域名、用户地址、MAC 地址、用户账号、访问时间、DNS 服务器 IP、DNS 服务器位置以及所属运营商进行统计。

对认证用户进行实时监控和并记录历史使用情况,实现无线网络下的共享用户的检测,并对每一个 IP 的所有会话信息进行动画展示,清晰的体现会话信息的存在。

4.网络性能分析

对比网络层性能检测系统,NPM检测的目标是应用,是业务。看到的更接近网络中实际发生的真相。对比业内其他的应用性能检测系统,NPM除了可以识别出应用协议数据结构,还能看到应用协议的交互流程。

可以实现单个协议时延、抖动等性能指标在时间维度的查询。可以实现多个协议和用户的交叉查询,监测异常情况,上报预警或告警。可以实现业务性能指标的实时查看,针对出现的问题,可以实现按需追溯。

5.网络资产分析

实现用户数据中心网络资产的可视化。用户可导入本地资产备案名单文档,Panalog根据流量分析结果与用户导入的备案文档进行对比,自动分析出可信资产、灰色资产以及黑色资产。实现自有资产信息的展示,包括:域名、服务器地址、群组名称、访问次数、上下行流量以及总流量等,并支持资产域名所在区域以及访问量的查询。

6.内容和安全分析

目前针对特殊场景下的应用,提供节点日志、PPPoE 代理、文件下载、图片浏览、缓存日志、图书资源、用户借贷、邪教访问、POST 表单等模块的查询。

实现 SYN Flooding、UDP Flooding、NTP Flooding 的异常查询,针对 IP 地址、访问次数、差量数、所属运营商以及地理位置进行统计。支持威胁情报分析,包括访问次数排名及用户排名。同时系统关联了VirusTotal,可随时对访问的IP、域名及URL等进行校验,具备网络安全事件日志的关联挖掘能力。

产品优势

1.坚持业务导向

坚持从用户网络安全的需求出发,为解决用户网络疑难问题为目标,对网络流量识别准确、分析多元化、呈现清晰化、操作简单化、界面友好化。

2.全量会话留存

Panalog 对每一秒钟每一个 IP 的每一条会话信息进行 1:1 的留存,并且完整记录每一条会话信息的协议类型、接口、访问时间、连接时间、源地址、目的地址、NAT 地址、用户账号、域名信息、上下行流量、所属运营商、地理位置等信息,出现问题后,按需溯源。

3.精准的大数据

Panalog 基于 Panabit 采集数据,Panabit 在现网保持着超过 95%的流量识别率,可以识别和控制常见的 14 大类过千种应用。其中由派网自主定义的 PSDL 语言和流量智能分析机器人,让 Panabit 拥有了新应用识别快速反应的卓越能力。籍由互联网助力,派网拥有庞大的测试队伍和全面的测试环境,这是派网始终保持较快的未知应用样本获取速度、精确的协议识别率的生态基础。

4.软件形态部署

Panalog系统是纯软件产品,脱离了硬件的限制,支持用户自定义主机或虚拟机安装使用,部署方式支持集中式部署和分布式部署。

安装环境

硬件环境(最低配置):

  • 处理器:单核
  • 内存:4G
  • 存储:100G

软件环境:

  • FreeBSD 9.2
  • CentOS 7

更多

三方NAT日志接入,Panalog版本更新

性能与安全性双重提升,Panalog版本更新

会话级网络时延、重传异常分析,让运维更简单