Trang chủ / works / Ứng dụng Web / Di chuyển dữ liệu Oracle On-premises to AWS RDS

Di chuyển dữ liệu Oracle On-premises to AWS RDS

Di chuyển dữ liệu Oracle On-premises to AWS RDS
Nội dung

Giới thiệu dự án

Đây là một dự án di chuyển cơ sở dữ liệu của hệ thống cốt lõi đã hết hạn hỗ trợ phần mềm và cơ sở dữ liệu đã trở thành hộp đen. Dự án này đã được thực hiện di chuyển từ hệ thống VB6.0 sang VB.NET.

Cơ sở dữ liệu cốt lõi Oracle 10G tại trung tâm dữ liệu đã được di chuyển sang AWS Cloud RDS for Oracle 19c.

Thách thức của khách hàng

Thách thức của khách hàng là hệ thống này là hệ thống cốt lõi của doanh nghiệp. Nó được sử dụng bởi hàng trăm nhân viên và hàng chục bộ phận tại các cơ sở trên toàn quốc. Hệ thống hoạt động 24/7 và nhân viên sử dụng hệ thống liên tục trong 24 giờ.

Ngoài ra, trong vài thập kỷ qua, nhiều dịch vụ đã được thêm vào và liên kết với hệ thống cốt lõi này làm dữ liệu phình to và không được tối ưu. Nhà cung cấp và người phụ trách ban đầu của hệ thống đã được chuyển giao cho người phụ trách mới vì nhiều lý do khác nhau. Điều này dẫn đến người dùng và nhà cung cấp chỉ hiểu được các hoạt động cơ bản của hệ thống, nhưng một phần của nó đã trở thành hộp đen. Hơn nữa, phần mềm cơ sở dữ liệu Oracle 10g đã hết hạn hỗ trợ. Vì đây là phần mềm hơn 10 năm trước, hiệu suất I/O cũng không tốt, dẫn đến ý kiến của người dùng rằng hệ thống chậm và nặng nề.

Yêu cầu của khách hàng

Yêu cầu từ khách hàng là chuyển đổi mà không làm gián đoạn công việc (không có thời gian chết). Khách hàng muốn chuyển đổi hệ thống và công việc hoạt động 24 giờ một ngày với thời gian chết tối thiểu. Cùng với nhà cung cấp AWS, đã đưa ra một số phương án chuyển đổi.

Các phương án đề xuất:

– Sử dụng AWS Direct Connect và DMS:

Sử dụng đường truyền riêng với AWS Direct Connect và sử dụng dịch vụ di chuyển dữ liệu AWS DMS. Tuy nhiên, phương án này đã bị từ chối do vấn đề chi phí và thời gian thực hiện.

– Sử dụng AWS VPN Connect để nhập dữ liệu từ S3 vào RDS:

Chia làm hai giai đoạn, tải xuống tệp Dump từ cơ sở dữ liệu hiện tại hai lần và nhập vào AWS S3 thông qua AWS VPN Connect, sau đó nhập vào RDS từ S3.

– Chuyển đổi bằng AWS Snowball:

Tải dữ liệu từ nội bộ và đưa vào Snowball, sau đó gửi đến AWS và chuyển đổi từ Snowball sang S3 và RDS.

Chuẩn bị trước khi di chuyển DB

Xây dựng mạng: Nhà cung cấp mạng đã xây dựng mạng với hơn 500 người dùng và hơn 20 cơ sở.

Lựa chọn AWS RDS: Chúng tôi đã chọn cấu hình và hình thức hợp đồng với sự hỗ trợ của nhà cung cấp AWS và AWS Support. Lần này, chúng tôi đã chọn RDS for Oracle 19c (bao gồm giấy phép). Chúng tôi đã chọn m5.2xlarge (8vCPU) + 1TBdisk dựa trên dung lượng hiện tại của DB. Kiến trúc RDS được đề xuất bởi nhà cung cấp AWS. Tính năng của RDS, bao gồm hiệu suất nhanh và dự đoán được, triển khai quản lý đơn giản, đã trở thành yếu tố quyết định cho việc lựa chọn.

Quyết định về phương pháp chuyển đổi: Đã được xác định rằng việc chuyển đổi mà không ngừng hoạt động là khó khăn. Sau khi xem xét phương pháp để giảm thiểu thời gian ngừng hệ thống và tối ưu hóa chi phí, phương pháp chuyển đổi được quyết định là nhập dữ liệu từ S3 vào RDS thông qua AWS VPN Connect. Đây là phương án tải tệp Dump hai lần, sau đó nhập vào S3 của AWS và từ S3 vào RDS thông qua VPN Connect.

  • Lần 1: Xuất dữ liệu từ dữ liệu quá khứ đến tháng thực hiện. Quá trình xuất dữ liệu mất khoảng 25 giờ với dữ liệu gần 500GB, quá trình nhập dữ liệu mất khoảng 12 giờ.
  • Lần 2: Thực hiện trước khi chuyển đổi cơ sở dữ liệu.

Để liên kết với hệ thống cốt lõi hiện tại, chúng tôi sử dụng Oracle 12c làm cầu nối.

Quá trình thực hiện

Lần này, chúng tôi đã thực hiện quá trình di chuyển hệ thống cốt lõi (từ VB6.0 sang VB.NET) tại công ty của mình, nhưng đã quyết định triển khai cơ sở dữ liệu trước khi đưa vào hoạt động thực tế. Hệ thống cốt lõi hiện tại đang hoạt động trên VB6.0. Ngoài ra, còn có một số hệ thống liên kết đang chạy trên Oracle 10g. Để di chuyển cơ sở dữ liệu trước, chúng tôi đã quyết định sử dụng DBLINK thông qua Oracle 12c để giúp các hệ thống khác kết nối gián tiếp với Oracle 19c.

Chuẩn bị sách hướng dẫn chuyển đổi: Lần này, đã có sự hợp tác của 4 công ty, bao gồm cả công ty chúng tôi. Chúng tôi đã đề xuất phân chia vai trò và lịch trình dựa trên thời gian để thực hiện chuyển đổi. Chúng tôi đã lên kế hoạch chi tiết cho các công việc như chuẩn bị môi trường, cài đặt, chuyển đổi tệp đổ lần đầu tiên sang AWS RDS, kiểm tra nghiệp vụ sau khi lấy bản chụp màn hình s3 (kiểm tra dữ liệu báo cáo trong 1 năm gần đây, kiểm tra quy trình kinh doanh, kiểm tra kết nối với các hệ thống khác), chuyển đổi tệp đổ lần thứ hai và nhiều công việc khác.

Diễn tập: Trước khi chuyển sang buổi biểu diễn chính, chúng tôi đã tiến hành 2 buổi diễn tập. Chúng tôi đã cập nhật các thủ tục chuyển đổi dựa trên các vấn đề phát sinh trong quá trình diễn tập.

Thực hiện sản xuất thực tế: Để giảm thiểu thời gian ngừng hoạt động của hệ thống, chúng tôi đã thực hiện vào giữa đêm ít ảnh hưởng. Vì đã giải quyết được các vấn đề trước đó trong quá trình diễn tập, nên chúng tôi đã thực hiện lịch trình theo phút một cách suôn sẻ và thành công trong việc chuyển đổi sang AWS RDS. Sau khi chuyển đổi, đã xảy ra vấn đề về hiệu suất. Tuy nhiên, chúng tôi đã sử dụng tính năng Amazon RDS Performance Insights để xác định nguyên nhân của vấn đề liên quan đến hiệu suất cơ sở dữ liệu và cải thiện hiệu suất xử lý bằng cách chỉ định tham số OPTIMIZER_FEATURES đang được sử dụng trong Oracle 10g. Chúng tôi đã thực hiện điều chỉnh SQL bằng cách sử dụng OPTIMIZER_FEATURES của Oracle19c.

Tổng kết

Lần này, đối với công ty chúng tôi, việc di chuyển cơ sở dữ liệu quy mô lớn như vậy là lần đầu tiên. Tuy nhiên, vì có nhiều thành viên trong ban lãnh đạo của chúng tôi đã có kinh nghiệm thực hiện di chuyển cơ sở dữ liệu nhiều lần, có kiến thức về Oracle và cũng đã có kinh nghiệm với AWS RDS, nên chúng tôi đã thành công trong việc di chuyển mà không gặp bất kỳ vấn đề gì. Nếu các doanh nghiệp đang gặp khó khăn với cơ sở dữ liệu cũ, hãy liên hệ với chúng tôi.

Các thành tích di chuyển hệ thống khác của ONETECH.

ONETECH có nhiều thành tích đã thực hiện di chuyển và chuyển đổi nhiều hệ thống dữ liệu cũ của khách hàng sang các hệ thống mới nhất hoặc chuyển lên các dịch vụ đám mây để lưu trữ lâu dài và an toàn hơn.

  • Việc di chuyển hệ thống cốt lõi của ngành vận chuyển từ WindowsXP sang Windowis 7. Trong quá trình di chuyển này, các công cụ cũng đã được thay đổi để phù hợp với phiên bản hỗ trợ Windows10 và đảm bảo hoạt động của hệ thống.
  • Giải quyết rủi ro của VB6.0, chuyển đổi hệ thống quản lý sản xuất, kho và bán hàng sang .NET, di chuyển VB (migration)
  • Hỗ trợ Windows 7 đã kết thúc đầu năm 2020. Chúng tôi đã chuyển đổi một hệ thống cũ từ VB6.0 sang .Net để có thể hoạt động trên Windows 10 cho hệ thống quản lý sản xuất, kho và bán hàng hiện tại. 
RELATED

Chúng tôi đã phát triển một hệ thống cho phép trò chuyện theo thời gian thực trong quá trình phân phối trực tiếp chương trình giáo dục trực tuyến với AWS serverless. Trong quá trình phát sóng, người xem có thể trao đổi câu hỏi với người tổ chức theo thời gian thực. Kiến trúc được xây dựng với Lambda, App Sync, v.v. trong cấu hình AWS serverless.

Chúng tôi đã phát triển một platform bảng câu hỏi khảo sát và hệ thống câu hỏi liên kết với một nền tảng phân phối video trực tiếp dành cho giáo dục trực tuyến. Người dùng có thể thu thập các khảo sát để xác minh trong quá trình phát video trực tiếp. Người tổ chức có thể tạo khảo sát và tổng hợp các câu trả lời khảo sát để kiểm tra mức độ hiểu biết của người xem. Hệ thống được xây dựng dựa trên các dịch vụ AWS serverless.

Chúng tôi đã phát triển một nền tảng có thể quản lý trang web thành viên câu lạc bộ của người hâm mộ nghệ sĩ. Đồng thời nhúng nền tảng video "vimeo" và thực hiện hệ thống phát video trực tiếp chỉ dành cho các thành viên câu lạc bộ người hâm mộ.

Dự án xây dựng hệ thống thương mại điện tử và hệ thống web với plugin WooCommerce của WordPress đã thành công trong việc giải quyết các vấn đề của khách hàng và mang lại giải pháp hiệu quả cho doanh nghiệp.

OneTech đã phát triển một công cụ marketing (AMT) nhằm tự động hóa công việc tìm kiếm và gửi email tiếp thị B2B qua contact form website các công ty.

liên hệ