Project Detail

OKESTRO CMP

OKESTRO CMP — Cloud Management Platform

복잡한 멀티 클라우드 환경을 단일 플랫폼에서 제어하는 고난도 백엔드 로직을 구현하고, 대규모 운영 데이터를 실시간으로 수집/분석하는 파이프라인을 완성했습니다.

  • 국내 최대 클라우드 유니콘 기업 핵심 서비스 개발
  • 퍼블릭/프라이빗 멀티 클라우드 통합 제어 아키텍처
  • 대규모 데이터 수집 ETL 파이프라인 성능 최적화

대한민국 최대 클라우드 유니콘 기업 오케스트로의 핵심 솔루션인 CMP(Cloud Management Platform) 리뉴얼에 참여했습니다. AWS, NCP, vSphere, NSX 등 이기종 클라우드 데이터를 안정적으로 수집 가능한 파이프라인을 구축했습니다.

AWS

AWS 이벤트로그 수집 파이프라인

CloudTrail → S3 → Kafka 파이프라인을 설계해 15개 리소스 타입의 이벤트를 실시간 수집·적재했습니다.

CloudTrail, S3, Kafka
COLLECTOR

수집기 성능 개선 & 구조 개편

이벤트 핸들러 탐색을 Map 기반 상수시간으로 개선하고, 수집 테이블 구조를 재설계해 Vault를 RDB로 전환했습니다.

Performance, Architecture
INFRA

vSphere & NCP 인프라 관리

호스트·데이터스토어 클러스터 CRUD, NCP 쿼터 수집 로직, FinOps 비용 계산 로직을 구현했습니다.

vSphere, NCP, FinOps
OKESTRO 랜딩 — CMP 소개
1 / 25

프로젝트 개요

"대한민국 클라우드 유니콘 기업, 오케스트로의 기술력을 증명하다"
OKESTRO CMP는 기업의 복잡한 멀티/하이브리드 클라우드 환경(AWS, NCP, vSphere, NSX, OpenStack 등)을 단일 플랫폼에서 통합 관리​할 수 있게 해주는 핵심 솔루션입니다. 단순한 대시보드가 아닌, 이기종 인프라의 프로비저닝, 제어, 모니터링, 비용 분석(FinOps)까지 완벽하게 통합​하는 고난도 프로젝트였으며, 저는 이곳에서 핵심 백엔드 로직과 데이터 파이프라인​을 책임졌습니다.
유니콘 기업의 걸맞은 엔터프라이즈급 안정성과 보안 표준​을 준수하며 개발했으며, 특히 서로 다른 API 규격을 가진 클라우드 벤더들의 데이터를 표준화하고 대용량 로그를 실시간으로 수집/처리하는 파이프라인을 성공적으로 구축했습니다.

성과

  • 제품 출시 기한 준수율 지표 100% 초과 달성
  • Naver Cloud Platform 관리 서비스 전반을 다루어 건강보험공단에 솔루션 판매에 큰 공헌
  • AWS/NCP/vSphere/NSX 데이터 수집 전체 파이프라인 성공적 리빌딩

개발 이력

AWS

  • 메타 데이터 수집/적재 [3.0.5]
    • AMI
    • EBS
    • EBS 스냅샷
    • EC2 키페어
    • EC2 시작 템플릿
    • EC2 보안그룹
    • EIP
    • 로드밸런서
    • 네트워크 ACL
    • 라우트테이블
    • S3
    • 서브넷
    • VPC
    • 인스턴스 타입
  • 이벤트로그 데이터 수집/적재 [3.0.5]
    • 수집 방식
      • AWS CloudTrail → S3 버킷 → 조회 및 적재
        • 가장 최근 읽어온 S3 버킷 내 오브젝트의 키(lastObjectKey)를 대상으로 새롭게 쌓이는 이벤트만 읽어와 Kafka 토픽에 발행
      • AWS CloudTrail LookupEvents API 조회 및 적재
    • 대상
      • VPC
      • EC2 인스턴스
      • EC2 보안그룹
      • EC2 AMI
      • EC2 키페어
      • 서브넷
      • 네트워크 ACL
      • 인터넷 게이트웨이
      • EIP
      • 네트워크 인터페이스
      • 로드밸런서
      • EBS 볼륨
      • EBS 스냅샷
      • S3 버킷
      • S3 버킷 오브젝트
  • VPC 메타 데이터 적재 로직 [3.0.4]
    • Kafka 토픽 소비 후 VPC 데이터 RDS 적재
  • VPC 메타 데이터 경량화 [3.0.4]
    • 꼭 필요한 정보만 담고, 가능하면 1-depth 중심 표시
  • AWS 관련 QA [3.0.4]
    • CMP-112: Cloud Agent 설치 후 메모리 사용률 미표시 2건 해결

수집기 프로젝트

  • 이벤트로그 수집 방식 정리 [3.0.5]
    • CloudTrail → S3 방식, LookupEvents 방식
  • 이벤트 핸들러 탐색 성능 개선 [3.0.5]
    • Map<eventName string, ExtractRule{...}>로 상수시간 탐색, 테스트 통과
  • 리소스 ID 추출 규칙 옵션화 [3.0.5]
    • 메인 경로 부재 시 fallback, 필요 시 RequestParameters/ResponseElements 재귀 탐색, 없으면 CloudTrail event id 사용
  • 클라이언트 예외 요청 제외 [3.0.5]
    • "Client.DryRunOperation" 등 실제 상태 변경과 무관 요청 제외
  • S3 버킷 용량 계산 고도화 [3.0.5]
    • [AS-IS] 모든 오브젝트 합산
    • [TO-BE] CloudWatch 전일 할당량 조회
  • 수집 테이블 구조 개편 [3.0.5]
    • (AS-IS) provider_task_collection_config, provider_task_collection_checkpoint, provider_task_collection_s3_config
    • (TO-BE) bzcm_integration_collection_config, bzcm_integration_collection_checkpoint
  • Vault 제거·RDB 전환 및 히스토리 적재 [3.0.5]

vSphere

  • 호스트 클러스터 관리 [3.0.4-alpha]
    • 목록/상세 조회, 생성, 수정, 삭제
  • 데이터스토어 클러스터 관리 [3.0.4-alpha]
    • 목록/상세 조회, 생성, 수정, 삭제
  • FinOps (vSphere) [3.0.4]
    • VM, Datastore 일간 비용 계산 및 단위테스트

VMware NSX

  • 로드밸런서 관리 [3.0.4-alpha]
    • 목록/상세 조회, 생성, 수정, 삭제
  • QA [3.0.4]
    • CMP-37: 로드밸런서 추가 시 DB 미등록 API 에러(403) 해결

NCP

  • 권한(최소 권한) 문서 정리 [3.0.4]
  • 쿼터 메타 데이터 수집/적재 [3.0.5]
    • API·절차 정리(리전, 카테고리, 리소스, 유형, 한도)
    • 1안: 수동 입력 → cm_resource, cm_resource_attr, oboe_ncp.ncp_quota
    • 2안: 루트 키 1회 단발성 수집(저장 X) → 자동 반영
    • 서브 계정 수집 요청 및 릴리즈 반영 예정 회신
  • QA [3.0.4]
    • CMP-19: NAT 게이트웨이 생성 시 서브넷 리스트 미노출 해결
    • CMP-122: 인스턴스 생성 시 공인 IP 부여 안됨 해결
    • 비용현황이 네이버 콘솔과 불일치 해결

FinOps

  • 워크스페이스/폴더 표기·테넌트 정보 정합성 개선 [3.0.4]
    • 2-depth 오표기 수정, 일/월 요금 적재 시 테넌트 포함
  • 정책/정책금액 처리 [3.0.4]
    • 중복 검사 이슈 해결, null → 0 저장
  • OpenStack 정책 관련 수정 [3.0.4]
    • 기본/대기중 정책 조회 시 volume/disk 포함, 대기중 생성 시 disk 하드코딩(1) 제거, 기본정책 존재 시 수정 불가 이슈 해결
  • 요금 미터링/보정 스케줄 [3.0.4]
    • 미터링 01:30 → 08:00, 매월 1일 09:00 보정 배치

QA

  • OKESTRO-2795: 테넌트 단위 리소스 분리/조회 가능 여부 및 API 개선안 [3.0.4]
  • OKESTRO-2794: [NCP] VM 하위 볼륨 리소스 식별 가능 여부 및 수집 로직 검토 [3.0.4]
  • 플랫폼/테넌트 Unknown 필터 시 비어 보이는 문제 해결 [3.0.4]
  • 조직/플랫폼 요금 페이지 월별 조회 제한 [3.0.4]

문서화/가이드

  • 수집 프로젝트 가이드 문서 [3.0.4]
    • 메타/메트릭 지침, 공통 유의사항, 네이밍 컨벤션
    • 역할: job-producer, job-worker, common-process
    • 이벤트 흐름: job-producer → job-worker → (common-process / metric-collector)
  • Golang 백엔드 TF [3.0.5]
    • MNRP-GO-19: Logging/Tracing
    • MNRP-GO-22: Exception

CMP Core

  • IaaS Network IP Pool 관리 [3.0.4-alpha]
    • 목록/상세 조회, 생성, 수정, 삭제
    • 테스트 케이스 문서 작성/공유

Tech Stack

인벤토리 파이프라인부터 거버넌스 자동화, 비용 인사이트까지 멀티클라우드 운영을 지탱하는 핵심 스택을 구성했습니다.

DATA

Inventory Pipeline

4

멀티클라우드 자원 데이터를 수집해 표준 스키마로 적재하는 백엔드 파이프라인

Apache AirflowAWS Step FunctionsKubernetes ETL WorkersBigQuery

OPS

Governance & Automation

4

정책 DSL과 이벤트 버스를 연결해 위반 감지와 대응을 자동화

AsyncAPIRedis StreamsSlack BotJira Automation

FINOPS

FinOps & Insights

4

비용, 사용량 데이터를 통합해 Forecast와 절감 인사이트를 제공

AWS CURAzure Cost ManagementLooker Studiodbt