Di chuyển dữ liệu Oracle On-premises to AWS RDS

Giới thiệu dự án

Đây là một dự án di chuyển cơ sở dữ liệu của hệ thống cốt lõi đã hết hạn hỗ trợ phần mềm và cơ sở dữ liệu đã trở thành hộp đen. Dự án này đã được thực hiện di chuyển từ hệ thống VB6.0 sang VB.NET.

Cơ sở dữ liệu cốt lõi Oracle 10G tại trung tâm dữ liệu đã được di chuyển sang AWS Cloud RDS for Oracle 19c.

Thách thức của khách hàng

Thách thức của khách hàng là hệ thống này là hệ thống cốt lõi của doanh nghiệp. Nó được sử dụng bởi hàng trăm nhân viên và hàng chục bộ phận tại các cơ sở trên toàn quốc. Hệ thống hoạt động 24/7 và nhân viên sử dụng hệ thống liên tục trong 24 giờ.

Ngoài ra, trong vài thập kỷ qua, nhiều dịch vụ đã được thêm vào và liên kết với hệ thống cốt lõi này làm dữ liệu phình to và không được tối ưu. Nhà cung cấp và người phụ trách ban đầu của hệ thống đã được chuyển giao cho người phụ trách mới vì nhiều lý do khác nhau. Điều này dẫn đến người dùng và nhà cung cấp chỉ hiểu được các hoạt động cơ bản của hệ thống, nhưng một phần của nó đã trở thành hộp đen. Hơn nữa, phần mềm cơ sở dữ liệu Oracle 10g đã hết hạn hỗ trợ. Vì đây là phần mềm hơn 10 năm trước, hiệu suất I/O cũng không tốt, dẫn đến ý kiến của người dùng rằng hệ thống chậm và nặng nề.

Yêu cầu của khách hàng

Yêu cầu từ khách hàng là chuyển đổi mà không làm gián đoạn công việc (không có thời gian chết). Khách hàng muốn chuyển đổi hệ thống và công việc hoạt động 24 giờ một ngày với thời gian chết tối thiểu. Cùng với nhà cung cấp AWS, đã đưa ra một số phương án chuyển đổi.

Các phương án đề xuất:

– Sử dụng AWS Direct Connect và DMS:

Sử dụng đường truyền riêng với AWS Direct Connect và sử dụng dịch vụ di chuyển dữ liệu AWS DMS. Tuy nhiên, phương án này đã bị từ chối do vấn đề chi phí và thời gian thực hiện.

– Sử dụng AWS VPN Connect để nhập dữ liệu từ S3 vào RDS:

Chia làm hai giai đoạn, tải xuống tệp Dump từ cơ sở dữ liệu hiện tại hai lần và nhập vào AWS S3 thông qua AWS VPN Connect, sau đó nhập vào RDS từ S3.

– Chuyển đổi bằng AWS Snowball:

Tải dữ liệu từ nội bộ và đưa vào Snowball, sau đó gửi đến AWS và chuyển đổi từ Snowball sang S3 và RDS.

Chuẩn bị trước khi di chuyển DB

Xây dựng mạng: Nhà cung cấp mạng đã xây dựng mạng với hơn 500 người dùng và hơn 20 cơ sở.

Lựa chọn AWS RDS: Chúng tôi đã chọn cấu hình và hình thức hợp đồng với sự hỗ trợ của nhà cung cấp AWS và AWS Support. Lần này, chúng tôi đã chọn RDS for Oracle 19c (bao gồm giấy phép). Chúng tôi đã chọn m5.2xlarge (8vCPU) + 1TBdisk dựa trên dung lượng hiện tại của DB. Kiến trúc RDS được đề xuất bởi nhà cung cấp AWS. Tính năng của RDS, bao gồm hiệu suất nhanh và dự đoán được, triển khai quản lý đơn giản, đã trở thành yếu tố quyết định cho việc lựa chọn.

Quyết định về phương pháp chuyển đổi: Đã được xác định rằng việc chuyển đổi mà không ngừng hoạt động là khó khăn. Sau khi xem xét phương pháp để giảm thiểu thời gian ngừng hệ thống và tối ưu hóa chi phí, phương pháp chuyển đổi được quyết định là nhập dữ liệu từ S3 vào RDS thông qua AWS VPN Connect. Đây là phương án tải tệp Dump hai lần, sau đó nhập vào S3 của AWS và từ S3 vào RDS thông qua VPN Connect.

• Lần 1: Xuất dữ liệu từ dữ liệu quá khứ đến tháng thực hiện. Quá trình xuất dữ liệu mất khoảng 25 giờ với dữ liệu gần 500GB, quá trình nhập dữ liệu mất khoảng 12 giờ.
• Lần 2: Thực hiện trước khi chuyển đổi cơ sở dữ liệu.

Để liên kết với hệ thống cốt lõi hiện tại, chúng tôi sử dụng Oracle 12c làm cầu nối.

Quá trình thực hiện

Lần này, chúng tôi đã thực hiện quá trình di chuyển hệ thống cốt lõi (từ VB6.0 sang VB.NET) tại công ty của mình, nhưng đã quyết định triển khai cơ sở dữ liệu trước khi đưa vào hoạt động thực tế. Hệ thống cốt lõi hiện tại đang hoạt động trên VB6.0. Ngoài ra, còn có một số hệ thống liên kết đang chạy trên Oracle 10g. Để di chuyển cơ sở dữ liệu trước, chúng tôi đã quyết định sử dụng DBLINK thông qua Oracle 12c để giúp các hệ thống khác kết nối gián tiếp với Oracle 19c.

Tổng kết

Lần này, đối với công ty chúng tôi, việc di chuyển cơ sở dữ liệu quy mô lớn như vậy là lần đầu tiên. Tuy nhiên, vì có nhiều thành viên trong ban lãnh đạo của chúng tôi đã có kinh nghiệm thực hiện di chuyển cơ sở dữ liệu nhiều lần, có kiến thức về Oracle và cũng đã có kinh nghiệm với AWS RDS, nên chúng tôi đã thành công trong việc di chuyển mà không gặp bất kỳ vấn đề gì. Nếu các doanh nghiệp đang gặp khó khăn với cơ sở dữ liệu cũ, hãy liên hệ với chúng tôi.

Các thành tích di chuyển hệ thống khác của ONETECH.

ONETECH có nhiều thành tích đã thực hiện di chuyển và chuyển đổi nhiều hệ thống dữ liệu cũ của khách hàng sang các hệ thống mới nhất hoặc chuyển lên các dịch vụ đám mây để lưu trữ lâu dài và an toàn hơn.

• Việc di chuyển hệ thống cốt lõi của ngành vận chuyển từ WindowsXP sang Windowis 7. Trong quá trình di chuyển này, các công cụ cũng đã được thay đổi để phù hợp với phiên bản hỗ trợ Windows10 và đảm bảo hoạt động của hệ thống.
• Giải quyết rủi ro của VB6.0, chuyển đổi hệ thống quản lý sản xuất, kho và bán hàng sang .NET, di chuyển VB (migration)
• Hỗ trợ Windows 7 đã kết thúc đầu năm 2020. Chúng tôi đã chuyển đổi một hệ thống cũ từ VB6.0 sang .Net để có thể hoạt động trên Windows 10 cho hệ thống quản lý sản xuất, kho và bán hàng hiện tại.