Khi Lưu Lượng Mạng “East-West” Thách Thức Bảo Mật Hạ Tầng AI Trong Data Center

Trong cuộc đua vũ bão nhằm làm chủ trí tuệ nhân tạo, các doanh nghiệp đang đổ hàng tỷ USD vào hệ thống GPU thế hệ mới. Tuy nhiên, một vùng tối chết người đang bị bỏ quên chính là bảo mật hạ tầng AI bên trong các Trung tâm dữ liệu (Data Center)

Báo cáo mới nhất từ Cisco chỉ ra rằng, việc tối ưu hiệu năng tính toán là chưa đủ, bài toán bảo mật hạ tầng mạng AI trước sự bùng nổ của lưu lượng East-West mới là yếu tố sinh tử của doanh nghiệp. Sự bùng nổ của lưu lượng East-West đang tạo ra những điểm nghẽn nghiêm trọng, đồng thời mở rộng bề mặt tấn công lên mức báo động.

Cùng Hoàng Hải Tech tìm hiểu chi tiết nguyên nhân, rủi ro bảo mật từ cảnh báo của Cisco, và đưa ra giải pháp kiến trúc mạng trong thời đại AI lên ngôi nhé

Bản Chất Của Lưu Lượng “East-West” Trong Bảo Mật Hạ Tầng AI là gì?

Để hiểu tại sao hạ tầng mạng truyền thống sụp đổ trước AI, trước hết cần phân biệt rõ hai loại lưu lượng mạng cơ bản trong Trung tâm dữ liệu:

• Lưu lượng North-South (Bắc – Nam): Là luồng dữ liệu di chuyển giữa Client hay còn gọi là người dùng bên ngoài và Server được sử dụng bên trong Data Center. Đây là mô hình thống trị của kỷ nguyên Web 2.0 và Cloud truyền thống.
• Lưu lượng East-West (Đông – Tây): Là luồng dữ liệu di chuyển nội bộ giữa các Server, các Node tính toán, hoặc giữa Server và hệ thống lưu trữ với nhau bên trong Data Center.

Tại sao AI biến East-West thành “quái vật” lưu lượng?

Khi huấn luyện một mô hình ngôn ngữ lớn hoặc chạy suy luận ở quy mô lớn, một GPU đơn lẻ không bao giờ là đủ. Công việc được phân tách ra hàng trăm, hàng nghìn GPU phân tán trên nhiều cụm Server

Trong quá trình này, các tác vụ như All-Reduce, All-to-All yêu cầu các GPU phải liên tục trao đổi các tham số mô hình, trọng số và dữ liệu huấn luyện với nhau ở tốc độ cực cao. Dữ liệu di chuyển theo chiều ngang (East-West) liên tục với khối lượng khổng lồ thường được gọi là các Elephant Flows hay dòng chảy voi.

Theo khảo sát mới nhất của Cisco, hơn 67% doanh nghiệp ghi nhận lưu lượng East-West tăng đột biến vượt kiểm soát ngay khi triển khai các ứng dụng AI.

Cảnh Báo Từ Cisco Về Bảo Mật Hạ Tầng AI

Cisco đã đưa ra những phân tích nghiêm túc về việc các Data Center thế hệ cũ đang bộc lộ những triệu chứng hụt hơi nghiêm trọng trước làn sóng AI. Hai bài toán lớn nhất hiện nay là nghẽn mạng và lỗ hổng bảo mật dịch chuyển ngang.

Thảm họa đuôi trễ và Nghẽn mạng nội bộ

Trong hạ tầng mạng truyền thống, các Switch hoạt động dựa trên giao thức định tuyến tĩnh hoặc cân bằng tải thông thường. Khi xuất hiện các luồng dữ liệu Elephant Flows, mạng lưới lập tức bị quá tải cục bộ, gây ra hiện tượng rơi gói tin và tăng vọt độ trễ đuôi.

Trong tính toán AI phân tán, tốc độ chung của toàn bộ quá trình huấn luyện bị quy định bởi Node chạy chậm nhất. Chỉ cần một Switch bị nghẽn mạng do lưu lượng East-West quá tải, hàng nghìn GPU đắt đỏ khác sẽ phải ngồi “chơi không” để đợi dữ liệu. Điều này gây lãng phí hàng triệu USD chi phí vận hành hạ tầng của doanh nghiệp.

Sự bất lực của mô hình phòng thủ chu vi

Suốt nhiều thập kỷ, các kiến trúc sư mạng bảo vệ Data Center bằng cách dựng tường lửa thật mạnh ở cửa ngõ North-South để chặn hacker từ Internet. Bên trong vùng nội bộ East-West được mặc định là vùng an toàn và ít bị kiểm soát gắt gao.

AI đã phá vỡ hoàn toàn quy tắc này. Theo Cisco, việc tích hợp các tác nhân AI, kết nối API liên tục giữa các ứng dụng nội bộ làm tăng nguy cơ bị xâm nhập.

Sự trỗi dậy của Lateral Movement. Nếu một hacker tống tiền hoặc mã độc chiếm được quyền kiểm soát một Node ứng dụng AI thông thường ở rìa, chúng có thể dễ dàng đi ngang qua luồng East-West không bị kiểm duyệt để tiếp cận cụm GPU lõi, đánh cắp các tập dữ liệu huấn luyện tối mật hoặc chiếm dụng tài nguyên GPU để đào coin.

Tác vụ giám sát làm kiệt quệ CPU/GPU: Nếu cài đặt các phần mềm kiểm soát truyền thống trực tiếp lên các Server AI để quét mã độc, các Agent này sẽ ngốn sạch tài nguyên xử lý của CPU/Host, trực tiếp làm sụt giảm hiệu năng tính toán AI.

Giải Pháp Bảo Mật Hạ Tầng AI Dùng DPU Và Tường Lửa Thế Hệ Mới

Để giải quyết triệt để bài toán vừa muốn mạng chạy nhanh tối đa, vừa muốn bảo mật tuyệt đối, kiến trúc Data Center hiện đại bắt buộc phải chuyển dịch. Câu trả lời chính là: Mô hình xử lý phân tán dựa trên DPU và Tường lửa lai.

Vai trò của DPU (Data Processing Unit)

DPU được ví như chiếc “kiềng ba chân” cùng với CPU và GPU trong hạ tầng AI hiện đại. Thay vì để CPU của Server phải gánh vác các tác vụ nặng nề về quản lý mạng, lưu trữ và mã hóa bảo mật, DPU sẽ “gánh” toàn bộ các tác vụ này.

NVIDIA BlueField-3 là dòng DPU tiên tiến bậc nhất hiện nay với băng thông lên tới 400Gb/s. Khi tích hợp BlueField-3 vào các Server AI, nó mang lại các lợi ích vượt trội:

• Giải phóng 100% sức mạnh tính toán: DPU tự xử lý các giao thức mạng phức tạp (như RoCEv2, NVMe-oF), giúp toàn bộ tài nguyên CPU và GPU được giải phóng để tập trung 100% cho việc xử lý thuật toán AI.
• Cách ly đa phần quyền (Multi-tenant Isolation): DPU hoạt động như một máy tính độc lập nằm ngay trên card mạng. Cho dù hệ điều hành chính (Host OS) của Server AI có bị hacker chiếm quyền điều khiển, phân vùng mạng bảo mật do DPU quản lý vẫn hoàn toàn bất khả xâm phạm.

Chuyển dịch sang Tường lửa thế hệ mới phân tán

Thay vì gom toàn bộ lưu lượng East-West đi vòng về một cụm Tường lửa trung tâm (gây nghẽn cổ chai vật lý), giải pháp tối ưu hiện nay là nhúng trực tiếp các tính năng của Tường lửa thế hệ mới (NGFW) vào trong DPU BlueField-3.

Sự hợp tác công nghệ mới nhất giữa Cisco và NVIDIA đã hiện thực hóa điều này: Cisco Hybrid Mesh Firewall chạy trực tiếp trên nền tảng phần cứng DPU BlueField-3.

Tiêu chí so sánh	Kiến trúc Data Center Truyền Thống	Kiến trúc Hạ Tầng AI Hiện Đại (DPU + NGFW)
Cơ chế kiểm soát	Kiểm soát tập trung tại cửa ngõ North-South	Kiểm soát phân tán sâu vào từng luồng East-West
Xử lý lưu lượng mạng	Dễ nghẽn mạng (Elephant Flows làm quá tải Switch)	Tự động điều phối bằng AI Telemetry, tăng tốc qua DPU
Vị trí thực thi bảo mật	Tại các Appliance Firewall vật lý độc lập	Ngay tại ranh giới Server thông qua DPU
Tác động hiệu năng AI	Suy giảm hiệu năng do Security Agent ngốn CPU	Hiệu năng đạt 100% (Line-rate 400G phần cứng)

Cơ chế hoạt động của giải pháp phối hợp DPU & NGFW

Phân tách vi mô (Micro-segmentation): Tường lửa phân tán trên DPU chia nhỏ mạng nội bộ thành các phân vùng cực nhỏ độc lập. Node chứa dữ liệu khách hàng không thể tự ý kết nối với Node chứa mã nguồn trừ khi được cấp phép rõ ràng bởi chính sách của hệ thống (Zero Trust).

Giám sát trạng thái dòng chảy ở tốc độ 400G (Stateful Inspection): Sự kết hợp giữa Cisco và DPU giúp hệ thống kiểm tra sâu từng gói tin di chuyển theo chiều ngang với tốc độ đường truyền (Line-rate) mà không sinh thêm độ trễ.

Tự động nhận diện bất thường: Hệ thống quản trị tập trung (như Cisco Nexus Dashboard) liên tục nhận dữ liệu đo lường từ DPU gửi về để phát hiện các hành vi bất thường, khóa ngay lập tức Node bị nhiễm độc mà không làm gián đoạn các Node tính toán AI khác.

Lời Khuyên Khi Thiết Kế Bảo Mật Hạ Tầng AI

Nếu doanh nghiệp của bạn đang lên kế hoạch xây dựng hoặc nâng cấp hệ thống Data Center phục vụ cho kỷ nguyên trí tuệ nhân tạo, hãy lưu ý 3 nguyên tắc sống còn sau:

• Đầu tư cho Network đừng chỉ nhìn vào GPU: Sức mạnh của hệ thống AI tỷ lệ thuận với băng thông mạng nội bộ. Hãy đảm bảo kiến trúc mạng của bạn hỗ trợ các công nghệ độ trễ thấp như InfiniBand hoặc RoCEv2 Ethernet.
• Áp dụng triết lý Zero Trust cho lưu lượng East-West: Tuyệt đối không coi mạng nội bộ là vùng an toàn. Mọi luồng trao đổi dữ liệu giữa các cụm tính toán AI đều phải được định danh, phân quyền và giám sát liên tục.
• Mô-đun hóa hạ tầng bằng DPU: Hãy cân nhắc trang bị các dòng DPU chuyên dụng như NVIDIA BlueField-3 ngay từ đầu. Chi phí đầu tư DPU ban đầu sẽ tiết kiệm hơn rất nhiều so với việc hệ thống GPU hàng triệu USD bị đình trệ do nghẽn mạng hoặc rò rỉ dữ liệu do lỗ hổng bảo mật.

Kết luận

Lưu lượng mạng East-West giống như những mạch máu chạy ngầm bên trong cơ thể của hạ tầng AI. Nếu không có một thiết kế mạng đủ thông minh và bảo mật, chính những mạch máu này sẽ phình to và làm bóp nghẹt toàn bộ Data Center của bạn.

Cảnh báo của Cisco không phải là lời đe dọa từ tương lai, đó là thực tế đang diễn ra tại nhiều doanh nghiệp triển khai AI nóng vội. Xây dựng một chiến lược bảo mật hạ tầng AI vững chắc bằng DPU BlueField-3 và tường lửa thế hệ mới chính là chiếc chìa khóa giúp doanh nghiệp đi nhanh và an toàn trong kỷ nguyên số.

Hoàng Hải Tech JSC – Chuyên phân phối thiết bị CNTT chính hãng

Hoàng Hải Tech phấn đấu trở thành công ty hàng đầu về lĩnh vực CNTT tại Việt Nam. Với mục tiêu thể hiện tầm vóc trí tuệ và niềm tự hào Việt. Xuyên suốt 16 năm hoạt động, chúng tôi luôn nghiên cứu những giải pháp mới giúp khách hàng tiếp cận những công nghệ hàng đầu. Đáp ứng mọi yêu cầu khắt khe của khách hàng. Đội ngũ nhân viên nhiệt tình, chuyên môn vững vàng và tinh thần luôn cầu tiến, học hỏi.

Địa chỉ: 536/43C Đường Âu Cơ, Phường 10, Quận Tân Bình, TP HCM.
Zalo: 0936 270 536 – Facebook: Hoàng Hải Tech JSC
Gmail: [email protected]