基于卷积神经网络的网络入侵检测技术研究

摘  要：网络入侵是指非授权访问和恶意攻击网络系统的行为，对网络和数据安全构成威胁。为了保护网络系统免受入侵的危害，设计和实现一个高效准确的网络入侵检测系统至关重要。因此，提出了一个基于深度学习的端到端网络入侵检测框架，利用卷积神经网络（Convolutional NeuralNetwork，CNN）的特征提取和分类能力来识别网络流量中的恶意行为。使用公开的网络入侵检测数据集对该框架进行实验评估，并对系统性能进行了分析和比较。实验结果表明，所提出的基于CNN 的网络入侵检测系统在准确性和效率方面取得了良好的表现，能够有效地检测和分类各种网络入侵行为。

内容目录：

1 卷积神经网络的基本原理
2 检测模型设计与实现
2.1 数据预处理
2.2 数据集划分
2.3 网络模型设计
2.4 模型训练和优化
2.5 模型评估和性能分析
3 检测模型实验评估
4 结  语

在数字化时代，网络入侵检测对保障网络安全具有重要意义。随着网络的普及和信息的互联，网络入侵事件频发，给国家、组织和个人带来了严重的威胁和损失。因此，开发高效可靠的网络入侵检测系统成为一项紧迫的任务。

网络入侵是一种对网络系统造成威胁和危害的行为，包括未经授权的访问、恶意软件攻击、拒绝服务攻击等。为了保护网络系统的安全，网络入侵检测成为一项重要的任务。传统的网络入侵检测方法通常基于规则和统计模型，但这些方法受限于规则的准确性和模型的泛化能力。近年来，深度学习技术的发展为网络入侵检测提供了新的机会 。深度学习模型如卷积神经网络（Convolutional Neural Network，CNN）在图像和语音处理领域取得了显著的成果，其在网络入侵检测中的应用也引起了广泛关注。

网络入侵检测是网络安全领域的关键问题，许多研究人员和学者提出了各种方法和技术来检测和防止网络入侵。在过去的几十年里，研究人员提出了许多基于规则和特征工程的方法，这些方法主要依赖于人工定义的规则和特征来检测入侵行为 。然而，由于网络入侵的复杂性和多样性，这些方法往往难以满足准确性和效率方面的要求。近年来，基于深度学习的方法在网络入侵检测领域取得了显著的进展。深度学习是一种机器学习的分支，它通过构建多层神经网络来模拟人脑的学习和决策过程。相比传统的方法，深度学习可以自动从原始数据中学习特征和模式，无须依赖手工设计的规则和特征 。这使得深度学习在网络入侵检测中具有更好的适应性和准确性。

基于深度学习的网络入侵检测方法可以分为基于异常检测和基于分类的方法 两类。基于异常检测的方法通过建立正常网络流量的模型，检测和识别与正常行为不符的异常行为。这些方法主要使用自编码器、变分自编码器、生成对抗网络等模型来学习正常网络流量的分布。基于分类的方法则将网络入侵检测问题转化为一个二分类问题，通过训练神经网络来区分正常流量和入侵行为 。这些方法主要使用卷积神经网络、循环神经网络、注意力机制等模型来学习特征和模式。

虽然基于深度学习的网络入侵检测方法在一定程度上提高了检测准确性和效率，但仍然存在一些挑战和问题。首先，深度学习模型需要大量的标记数据进行训练，但网络入侵数据往往是稀缺的和不平衡的。其次，深度学习模型的复杂性和计算需求较高，限制了其在实时入侵检测中的应用。此外，模型的可解释性和对抗攻击的鲁棒性也是当前研究的热点问题。针对以上问题，研究人员提出了一些改进和优化方法。例如，使用生成对抗网络生成合成的入侵数据来增加训练数据的数量和多样性，采用迁移学习和预训练模型来减少标记数据的需求，引入注意力机制和解释性方法来提高模型的可解释性等。这些方法为进一步提高基于深度学习的网络入侵检测系统的性能和效果提供了有益的思路和方向。

本文旨在设计和实现基于深度学习的网络入侵检测系统，以提高入侵检测的准确性和效率。主要的贡献包括以下几个方面：

（1）通过回顾和分析现有的网络入侵检测方法，特别是基于深度学习的方法，总结了它们的优点和缺点。

（2）详细介绍了深度学习的基本原理，包括神经网络、反向传播、卷积神经网络、递归神经网络等，并阐述了深度学习在网络入侵检测中的应用，包括特征学习、异常检测和分类等方面。

（3）设计了一个完整的系统架构，并详细描述了每个组件的设计和实现。其中，数据预处理模块用于对原始数据进行清洗、标准化和转换，特征提取模块利用深度学习模型从数据中学习有用的特征，模型训练模块采用监督学习方法对网络入侵行为进行建模和训练，入侵检测模块用于实时监测网络流量并识别可能的入侵行为。

（4）通过实验和评估验证了系统的性能和效果。本文选择了合适的数据集，并进行了系统性能测试。实验结果显示，基于深度学习的网络入侵检测系统在准确性和效率方面表现出色。

（5）对系统的优点和缺点进行了讨论，并提出了一些可能的改进方法。此外，展望未来的研究方向，如进一步优化模型、应对新型入侵攻击、提高系统的实时性等。

本论文的工作为深度学习在网络入侵检测领域的应用提供了有益的经验和参考，对于改进网络安全和保护网络环境具有一定的实际意义。

1 卷积神经网络的基本原理

深度学习是一种机器学习的方法，它模拟了人脑神经系统的工作原理，通过构建多层神经网络来学习和表示数据的复杂模式和关系。在网络入侵检测中，深度学习被广泛应用于特征提取、模式识别和异常检测等任务，以提高入侵检测的准确性和效果。

CNN 是专门处理网格结构数据的一种神经网络。它通过卷积层和池化层的引入，能够有效地捕捉输入数据中的空间和位置信息。在网络入侵检测中，卷积神经网络被广泛应用于处理网络流量数据，以及提取流量数据的局部特征和模式。CNN具有局部感知和权值共享的特点。卷积神经网络的局部感知特性使其能够自动学习不同尺寸的特征，有效地捕捉输入数据中的空间局部结构。通过卷积操作，网络利用滑动窗口在输入数据上进行计算，每个窗口与一组可学习的卷积核进行卷积操作，并生成对应的特征图。这种操作可以保留输入数据的空间结构信息，并且减少网络的参数数量。同时，卷积神经网络采用权值共享的机制，即每个卷积核在整个输入数据上进行滑动，共享相同的权值参数。这种共享能够大大减小网络的计算复杂度，提高网络的训练效率和泛化能力。

池化层用于减少特征图的维度，减小模型的复杂性，并提取特征的主要信息。常见的池化操作包括最大池化和平均池化，它们通过对每个特征图的局部区域进行池化操作，生成尺寸更小的特征图。如图 1 所示，卷积神经网络通常由多个卷积层、池化层和全连接层组成。卷积层和池化层负责提取和压缩特征，而全连接层则将提取的特征映射到输出类别上。具体来说，卷积层通过卷积操作对输入数据进行特征提取，利用卷积核的滑动窗口计算得到特征图。这些特征图捕捉了输入数据的局部结构和模式。池化层紧随卷积层，对特征图进行降采样。最大池化选择每个局部区域的最大值作为池化结果，平均池化取局部区域的平均值。这样可以减小特征图的尺寸，保留主要信息，同时降低计算量。全连接层位于网络的最后一层，将池化层输出的特征映射到输出类别上。它通过学习权重参数来进行分类和判别。

卷积神经网络的输入通常是一个二维（图像）或三维（视频）的数据，表示为输入张量（inputtensor）。

卷积层是卷积神经网络的核心组件，用于提取输入数据的局部特征和模式。卷积操作通过滑动一个可学习的卷积核（filter/kernel）在输入数据上进行局部区域的计算，从而生成特征图（feature map）。卷积操作可以表示为：

式中：I是输入特征图，K是卷积核，F是输出特征图，(i, j) 是输出特征图上的坐标，(m,n) 是卷积核上的坐标。

卷积层通常在卷积操作后应用非线性激活函数，以引入非线性变换和增强网络的表达能力。常用的激活函数包括线性整流函数（Rectified Linea rUnit，ReLU）、Sigmoid 和 Tanh 等。

池化层用于减少特征图的空间维度，从而减少参数数量和计算量，并增强模型对平移和缩放的不变性。

全连接层用于将卷积层和池化层提取的特征进行组合和映射，以进行最终的分类或回归。

卷积神经网络通过堆叠多个卷积层、池化层和全连接层来构建复杂的深度网络。网络的最后一层通常是输出层，用于表示模型的最终预测结果。通过反向传播算法和优化方法（如梯度下降），卷积神经网络可以自动学习输入数据中的特征和模式，并进行准确的分类或预测。

在网络入侵检测中，卷积神经网络可以直接处理网络流量数据的原始形式，无须进行手工特征提取，使得模型更具灵活性和适应性。卷积神经网络在网络入侵检测中的应用主要包括流量分类、异常检测和攻击识别等任务。通过训练网络模型，它可以学习到网络流量数据中的正常模式和异常模式，从而实现对网络入侵行为的准确检测和分类。总之，卷积神经网络在网络入侵检测中具有较好的特征提取和分类能力，能够有效地处理网络流量数据，提高网络安全性能。它已经成为网络安全领域的重要研究方向，且研究者们也取得了一定的研究成果和应用效果。

2 检测模型设计与实现

网络入侵检测系统是一个复杂的系统，需要设计合适的架构和流程来实现高效准确的入侵检测。本节主要介绍基于卷积神经网络的网络入侵检测模型的设计与实现要点。

2.1 数据预处理

数据预处理是网络入侵检测系统中的重要步骤，它包括数据导入、特征选择、特征转换、数据标准化等操作。

（1）数据导入。使用 pandas 库读取数据，导入数据后进行数据的基本查看和探索性分析，以了解数据的特点和结构。

（2）特征选择。根据任务需求和数据集特点，选择合适的特征列用于训练和测试。特征选择是一种从原始特征中选择最相关和最有信息量的特征的过程，可以通过领域知识、特征相关性分析或特征重要性评估等方法进行。

（3）特征转换。将字符型特征进行数值化，使用编码器（如 LabelEncoder）将字符型特征转换为数值型特征。由于大部分机器学习算法只能处理数值型数据，因此需要将字符型特征转换为数值型特征。LabelEncoder 将每个不同的字符映射到一个整数，从 0 开始递增，以表示不同的类别。

（4）数据标准化。对数值型特征进行标准化处理，使得数据在相同的尺度范围内，常用的方法有 Z-score 标准化或 MinMax 标准化。Z-score 标准化，也称为标准差标准化，通过减去均值并除以标准差，将数据转换为均值为 0、标准差为 1 的标准正态分布，公式如下：

式中：表示标准化后的数据，x 表示原始数据，μ 表示数据的均值，σ 表示数据的标准差。

MinMax 标准化，也称为区间缩放法，将数据线性缩放到指定的区间范围（通常是 [0, 1]）。公式如下：

式中：表示缩放后的数据，x 表示原始数据，表示数据的最小值，表示数据的最大值。

本文数据预处理过 程 为：读 取 NSL-KDD 数据 集 文 件（“KDDTrain+.txt”）， 将 特 征 列 和 标签列分离，对字符型特征进行数值化处理，使用LabelEncoder 将其转换为数值类型，对数值化后的特征进行标准化处理，使用 StandardScaler 将其进行标准化，对标签列进行独热编码处理，使用pd.get_dummies 将其转换为独热向量形式。下面为NSL-KDD 数据集预处理示例代码：

data = pd.read_csv(‘KDD.txt’)

def preprocess_data(data):

features = data.iloc[:, :-2]

labels = data.iloc[:, -2]

encoder = LabelEncoder()

features = features.apply(encoder.fit_transform)

scaler = StandardScaler()

features = scaler.fit_transform(features)

labels = pd.get_dummies(labels)

return features, labels

2.2　数据集划分

为了评估模型的性能和进行最终的网络入侵检测，需要将预处理后的数据集划分为训练集、验证集和测试集。常见的划分方式是按照一定比例（如80% 训练集、10% 验证集、10% 测试集）进行划分，确保训练集用于模型训练和参数调整，验证集用于模型验证和超参数调整，测试集用于最终的性能评估。

本文数据集划分过程为：将预处理后的特征和标签划分为训练集和测试集，使用 train_test_split函数进行划分，其中测试集占比为 20%。下面为数据集划分处理示例代码：

def split_data(features, labels):

X_train, X_val_test, y_train, y_val_test = train_

test_split(features, labels, test_size=0.3, random_

state=42)

X_val, X_test, y_val, y_test = train_test_split(X_

val_test, y_val_test, test_size=0.5, random_state=42)

return X_train, X_val, X_test, y_train, y_val, y_test

2.3　网络模型设计

基于卷积神经网络的网络入侵检测系统需要设计合适的模型架构。可以使用各种深度学习框架（如TensorFlow、Keras）构建模型。常见的网络模型设计包括的部分如下文所述。

（1）卷积层：用于提取输入数据中的局部特征和模式，可以通过调整卷积核的大小和数量来控制特征提取的效果。

（2）池化层：用于减小特征图的维度，并保留重要的特征信息，常用的池化操作有最大池化和平均池化。

（3）全连接层：将提取的特征映射到输出类别上，通过激活函数进行非线性变换。

（4）Dropout 层：为了避免过拟合，可以添加Dropout 层来随机丢弃部分神经元的输出。

（5）输出层：通常是一个 Softmax 层，用于表示模型的最终预测结果。

本文构建卷积神经网络模型的过程为：使用tf.keras.Sequential 顺序模型构建 CNN 模型；模型包含卷积层、池化层和全连接层，用于提取特征和进行分类；模型最后使用 Softmax 激活函数进行多类别分类，并计算损失函数和准确率。下面为构建卷积神经网络模型的示例代码：

def build_model(input_shape, num_classes):

model = tf.keras.models.Sequential([

tf.keras.layers.Conv1D(64, 3, activation=’relu’,

input_shape=input_shape),

tf.keras.layers.MaxPooling1D(2),

tf.keras.layers.Conv1D(128, 3, activation=’relu’),

tf.keras.layers.MaxPooling1D(2),

tf.keras.layers.Flatten(),

tf.keras.layers.Dense(128, activation=’relu’),

tf.keras.layers.Dropout(0.5),

tf.keras.layers.Dense(num_classes, activation=’

softmax’)])

return model

2.4　模型训练和优化

在设计好网络模型后，需要使用训练集对模型进行训练。训练过程中需要选择适当的损失函数（如交叉熵损失）和优化算法（如 Adam 优化器）来优化模型。同时，可以迭代调整模型的超参数，如学习率、批量大小等，以提高模型性能和收敛速度。训练过程中可以监控模型在训练集和验证集上的性能指标，并根据需要进行调整和优化。

本文训练模型的过程为：对构建的 CNN 模型进行编译，指定损失函数为 categorical_crossentropy、优化器为 adam，并指定评估指标为准确率；使用训练集数据进行模型的训练，设置批量大小为 64，迭代 10 个 epochs，并在验证集上进行验证。下面为模型训练示例代码：

def train_model(X_train, y_train, X_val, y_val,

num_classes):

input_shape = (X_train.shape[1], 1)

X_train = np.reshape(X_train, (X_train.shape[0],

X_train.shape[1], 1))

X_val = np.reshape(X_val, (X_val.shape[0], X_val.

shape[1], 1))

model = build_model(input_shape, num_classes)

model.compile(loss=’categorical_crossentropy’,

optimizer=’adam’, metrics=[‘accuracy’])

history = model.fit(X_train, y_train, batch_size=64,

epochs=10, validation_data=(X_val, y_val))

return model, history

2.5　模型评估和性能分析

训练完成后，使用验证集评估模型的性能，包括准确率、精确率、召回率、F1 分数等指标，可以绘制学习曲线和验证曲线来观察模型的训练过程和验证结果。进一步分析模型在不同类别上的表现，查看误分类样本，并根据需要进一步改进模型。最终，使用测试集对最优模型进行性能评估和比较。计算模型在测试集上的准确率、精确率、召回率、F1 分数等指标，并绘制混淆矩阵等图表进行可视化。根据实际需求，可以调整模型的阈值和参数，进一步优化模型的性能。本文对测试集数据进行模型的评估，计算测试集的准确率。

3 检测模型实验评估

本 文 使 用 的 程 序 运 行 结 果 为 Test Accuracy:0.995 792 806 148 529。图 2 显示了基于 CNN 的模型在训练集和验证集上的准确率随着训练轮数的变化情况。横轴表示训练轮数（Epoch），纵轴表示准确率。在训练集和验证集上，模型的准确率随着训练轮数的增加逐渐提高。这表明模型在训练过程中逐渐学习到了数据的特征，并在验证集上表现出良好的泛化能力。最终，模型在验证集上的准确率稳定在一个较高水平。

图 2 基于 CNN 的模型的准确率

实 验 结 果 表 明， 使 用 基 于 NSL-KDD 数 据 集的卷积神经网络模型进行网络入侵检测，在测试集上获得了高达 99.58% 的准确率（Test Accuracy:0.995 792 806 148 529）。表明该模型具有很好的性能，在网络入侵检测任务中能够有效地进行分类和预测，该模型在识别网络流量是否为入侵行为方面表现出色。高准确率意味着模型能够准确地将正常流量和恶意入侵流量区分开来，从而提供了一个可靠的网络安全防护系统。这对于网络入侵检测系统的设计和实现研究具有重要意义，因为准确率是评估模型性能和有效性的重要指标之一。此结果表明，基于卷积神经网络的网络入侵检测系统在 NSLKDD 数据集上取得了很好的性能，并有望在实际应用中发挥重要作用。

图 3 基于 CNN 模型的损失情况

图 3 显示了模型在训练集和验证集上的损失函数值随着训练轮数的变化情况。在训练集和验证集上，模型的损失随着训练轮数的增加逐渐降低。这表明模型在训练过程中逐渐学习到了数据的特征，并逐渐减小了预测结果与真实结果之间的差距。具体而言，在训练过程中，模型的训练集损失逐渐降低。这意味着模型可以通过优化算法逐渐调整参数，使得预测结果与训练集标签之间的差距减小。较低的训练集损失表明模型在训练集上能够较好地拟合数据。在训练过程中，模型的验证集损失也逐渐降低。验证集损失是衡量模型在未见过的数据上的预测性能，较低的验证集损失表明模型具有良好的泛化能力，能够在未知数据上进行准确预测。观察训练集损失和验证集损失的差距可以帮助判断模型是否存在过拟合或欠拟合。如果训练集损失较低而验证集损失较高，说明模型可能出现过拟合，即在训练集上表现良好但在验证集上泛化能力较差。相反，如果训练集损失和验证集损失都较高，则可能存在欠拟合，模型未能很好地拟合训练数据。通过观察损失曲线的趋势可以判断模型的收敛情况和学习速度。如果损失曲线在训练过程中逐渐平稳下降，且训练集损失和验证集损失收敛到一个较低的水平，则表示模型具有较好的学习能力和稳定性。

图 4 显示了模型在测试集上的分类结果与真实标签之间的对应关系。

图 4 基于 CNN 模型的混淆矩阵

混 淆 矩 阵 是 一 个 矩 阵， 横 轴 表 示 预 测 标 签（Predicted Labels）， 纵 轴 表 示 真 实 标 签（True Labels），矩阵中的每个元素表示对应标签对的样本数。通过热力图的颜色深浅可以反映出不同类别的分类情况，颜色越浅表示分类正确的样本越多，颜色越深表示分类错误的样本越多。每个单元格表示预测为某个类别的样本在真实类别下的计数。混淆矩阵的对角线元素表示模型预测正确的样本数，即真正例（True Positives）。对角线上的值越大，表示模型在该类别上的预测准确率越高。混淆矩阵的非对角线元素表示模型将某个类别错误地预测为其他类别的样本数，即假正例（False Positives）和假负例（False Negatives）。非对角线上的值越大，表示模型在该类别上的错误分类数量越多。精确率表示模型预测为某个类别的样本中真实属于该类别的比例，召回率表示模型正确预测某个类别的样本占该类别所有样本的比例。F1 分数是综合考虑精确率和召回率的指标，可以衡量模型的综合性能。F1分数是精确率和召回率的调和均值，当精确率和召回率都较高时，F1 分数也会较高。

通过以上设计和实现，基于卷积神经网络的网络入侵检测系统能够有效地检测和分类各种网络入侵行为，提高网络系统的安全性和可靠性。模型在训练过程中逐渐学习到了数据的特征，并在验证集上表现出了良好的准确率和较低的损失。模型在测试集上的准确率为 0.995 8，表示模型在未见过的数据上仍能保持较高的准确性。混淆矩阵可以提供更详细的模型性能信息，可以用于分析模型在不同类别上的分类情况和错误样本的分布。综上所述，该模型在网络入侵检测任务中表现出了很高的准确率和较低的损失，具备较好的分类能力和泛化能力，可以用于有效检测和分类各种网络入侵行为，提高网络系统的安全性和可靠性。同时，可以根据实际需求和数据特点进行进一步的优化和改进，以提升系统性能和应用效果。

4 结　语

本文基于卷积神经网络设计并实现了一个网络入侵检测模型，并使用 NSL-KDD 数据集对其进行评估。实验结果表明，该模型在测试集上取得了高准确率（99.58%）的表现，能够有效地检测和分类网络入侵行为。这为网络安全领域提供了一个可靠的防护工具，有助于提高网络系统的安全性和可靠性。

然而，网络入侵检测是一个充满挑战的领域，仍然存在许多值得进一步探索和改进的方向：

（1）数据集的多样性。虽然 NSL-KDD 数据集在本文中被用作评估网络入侵检测系统的基准数据集，但实际应用中的网络流量数据可能更加多样化。因此，将系统应用于真实世界的网络流量数据集，并在不同的数据集上进行测试和验证，将有助于更全面地了解系统的性能和可靠性。

（2）异常检测和未知攻击。网络入侵检测系统通常通过学习已知的入侵模式来识别入侵行为。然而，新型的入侵攻击和未知的异常行为可能无法被系统准确识别。因此，需要进一步研究和开发针对未知攻击和异常行为的检测方法，以提高系统的鲁棒性和适应性。

（3）模型解释性和可解释性。深度学习模型在网络入侵检测中取得了显著的性能提升，但其黑盒性质限制了对模型决策过程的理解。为了提高系统的可解释性和可信度，需要研究解释深度学习模型的方法，并提供对预测结果的合理解释。

（4）对抗攻击和鲁棒性。网络入侵检测系统可能成为恶意攻击的目标，攻击者可能试图欺骗系统或规避检测。因此，需要研究和开发对抗攻击的方法，以增强系统的鲁棒性和抵抗能力。

总之，设计和实现网络入侵检测系统是一个复杂而关键的任务。需要综合考虑数据集选择、模型选择、特征工程、模型解释性、实时性和可扩展性等因素，以实现高效准确的入侵检测。同时，还需要注意模型的泛化能力和稳定性，在实际场景中进行充分测试和验证，以确保系统的性能和可用性。未来的研究可以进一步探索网络入侵检测系统的优化和改进方法，以适应不断变化的网络安全威胁和攻击手段。

引用格式：卢达 , 冯中华 . 基于卷积神经网络的网络入侵检测技术研究 [J]. 通信技术 ,2024,57(5):529-536.
作者简介 >>>
卢  达，男，硕士，工程师，主要研究方向为信息安全；
冯中华，男，硕士，高级工程师，主要研究方向为信息安全。
选自《通信技术》2024年第5期（为便于排版，已省去原文参考文献）
重要声明：本文来自信息安全与通信保密杂志社，经授权转载，版权归原作者所有，不代表锐成观点，转载的目的在于传递更多知识和信息。