Project Detail
OKESTRO CMP
OKESTRO CMP — Cloud Management Platform
복잡한 멀티 클라우드 환경을 단일 플랫폼에서 제어하는 고난도 백엔드 로직을 구현하고, 대규모 운영 데이터를 실시간으로 수집/분석하는 파이프라인을 완성했습니다.
- 국내 최대 클라우드 유니콘 기업 핵심 서비스 개발
- 퍼블릭/프라이빗 멀티 클라우드 통합 제어 아키텍처
- 대규모 데이터 수집 ETL 파이프라인 성능 최적화
대한민국 최대 클라우드 유니콘 기업 오케스트로의 핵심 솔루션인 CMP(Cloud Management Platform) 리뉴얼에 참여했습니다. AWS, NCP, vSphere, NSX 등 이기종 클라우드 데이터를 안정적으로 수집 가능한 파이프라인을 구축했습니다.
AWS
AWS 이벤트로그 수집 파이프라인
CloudTrail → S3 → Kafka 파이프라인을 설계해 15개 리소스 타입의 이벤트를 실시간 수집·적재했습니다.
CloudTrail, S3, Kafka
COLLECTOR
수집기 성능 개선 & 구조 개편
이벤트 핸들러 탐색을 Map 기반 상수시간으로 개선하고, 수집 테이블 구조를 재설계해 Vault를 RDB로 전환했습니다.
Performance, Architecture
INFRA
vSphere & NCP 인프라 관리
호스트·데이터스토어 클러스터 CRUD, NCP 쿼터 수집 로직, FinOps 비용 계산 로직을 구현했습니다.
vSphere, NCP, FinOps
OKESTRO 랜딩 — CMP 소개
1 / 25프로젝트 개요
"대한민국 클라우드 유니콘 기업, 오케스트로의 기술력을 증명하다"
OKESTRO CMP는 기업의 복잡한 멀티/하이브리드 클라우드 환경(AWS, NCP, vSphere, NSX, OpenStack 등)을 단일 플랫폼에서 통합 관리할 수 있게 해주는 핵심 솔루션입니다.
단순한 대시보드가 아닌, 이기종 인프라의 프로비저닝, 제어, 모니터링, 비용 분석(FinOps)까지 완벽하게 통합하는 고난도 프로젝트였으며, 저는 이곳에서 핵심 백엔드 로직과 데이터 파이프라인을 책임졌습니다.
유니콘 기업의 걸맞은 엔터프라이즈급 안정성과 보안 표준을 준수하며 개발했으며, 특히 서로 다른 API 규격을 가진 클라우드 벤더들의 데이터를 표준화하고 대용량 로그를 실시간으로 수집/처리하는 파이프라인을 성공적으로 구축했습니다.
성과
- 제품 출시 기한 준수율 지표 100% 초과 달성
- Naver Cloud Platform 관리 서비스 전반을 다루어 건강보험공단에 솔루션 판매에 큰 공헌
- AWS/NCP/vSphere/NSX 데이터 수집 전체 파이프라인 성공적 리빌딩
개발 이력
AWS
-
메타 데이터 수집/적재 [3.0.5]
- AMI
- EBS
- EBS 스냅샷
- EC2 키페어
- EC2 시작 템플릿
- EC2 보안그룹
- EIP
- 로드밸런서
- 네트워크 ACL
- 라우트테이블
- S3
- 서브넷
- VPC
- 인스턴스 타입
-
이벤트로그 데이터 수집/적재 [3.0.5]
- 수집 방식
- AWS CloudTrail → S3 버킷 → 조회 및 적재
- 가장 최근 읽어온 S3 버킷 내 오브젝트의 키(lastObjectKey)를 대상으로 새롭게 쌓이는 이벤트만 읽어와 Kafka 토픽에 발행
- AWS CloudTrail LookupEvents API 조회 및 적재
- AWS CloudTrail → S3 버킷 → 조회 및 적재
- 대상
- VPC
- EC2 인스턴스
- EC2 보안그룹
- EC2 AMI
- EC2 키페어
- 서브넷
- 네트워크 ACL
- 인터넷 게이트웨이
- EIP
- 네트워크 인터페이스
- 로드밸런서
- EBS 볼륨
- EBS 스냅샷
- S3 버킷
- S3 버킷 오브젝트
- 수집 방식
-
VPC 메타 데이터 적재 로직 [3.0.4]
- Kafka 토픽 소비 후 VPC 데이터 RDS 적재
-
VPC 메타 데이터 경량화 [3.0.4]
- 꼭 필요한 정보만 담고, 가능하면 1-depth 중심 표시
-
AWS 관련 QA [3.0.4]
- CMP-112: Cloud Agent 설치 후 메모리 사용률 미표시 2건 해결
수집기 프로젝트
- 이벤트로그 수집 방식 정리 [3.0.5]
- CloudTrail → S3 방식, LookupEvents 방식
- 이벤트 핸들러 탐색 성능 개선 [3.0.5]
Map<eventName string, ExtractRule{...}>로 상수시간 탐색, 테스트 통과
- 리소스 ID 추출 규칙 옵션화 [3.0.5]
- 메인 경로 부재 시 fallback, 필요 시 RequestParameters/ResponseElements 재귀 탐색, 없으면 CloudTrail event id 사용
- 클라이언트 예외 요청 제외 [3.0.5]
- "Client.DryRunOperation" 등 실제 상태 변경과 무관 요청 제외
- S3 버킷 용량 계산 고도화 [3.0.5]
- [AS-IS] 모든 오브젝트 합산
- [TO-BE] CloudWatch 전일 할당량 조회
- 수집 테이블 구조 개편 [3.0.5]
- (AS-IS)
provider_task_collection_config,provider_task_collection_checkpoint,provider_task_collection_s3_config - (TO-BE)
bzcm_integration_collection_config,bzcm_integration_collection_checkpoint
- (AS-IS)
- Vault 제거·RDB 전환 및 히스토리 적재 [3.0.5]
vSphere
- 호스트 클러스터 관리 [3.0.4-alpha]
- 목록/상세 조회, 생성, 수정, 삭제
- 데이터스토어 클러스터 관리 [3.0.4-alpha]
- 목록/상세 조회, 생성, 수정, 삭제
- FinOps (vSphere) [3.0.4]
- VM, Datastore 일간 비용 계산 및 단위테스트
VMware NSX
- 로드밸런서 관리 [3.0.4-alpha]
- 목록/상세 조회, 생성, 수정, 삭제
- QA [3.0.4]
- CMP-37: 로드밸런서 추가 시 DB 미등록 API 에러(403) 해결
NCP
- 권한(최소 권한) 문서 정리 [3.0.4]
- 쿼터 메타 데이터 수집/적재 [3.0.5]
- API·절차 정리(리전, 카테고리, 리소스, 유형, 한도)
- 1안: 수동 입력 →
cm_resource,cm_resource_attr,oboe_ncp.ncp_quota - 2안: 루트 키 1회 단발성 수집(저장 X) → 자동 반영
- 서브 계정 수집 요청 및 릴리즈 반영 예정 회신
- QA [3.0.4]
- CMP-19: NAT 게이트웨이 생성 시 서브넷 리스트 미노출 해결
- CMP-122: 인스턴스 생성 시 공인 IP 부여 안됨 해결
- 비용현황이 네이버 콘솔과 불일치 해결
FinOps
- 워크스페이스/폴더 표기·테넌트 정보 정합성 개선 [3.0.4]
- 2-depth 오표기 수정, 일/월 요금 적재 시 테넌트 포함
- 정책/정책금액 처리 [3.0.4]
- 중복 검사 이슈 해결, null → 0 저장
- OpenStack 정책 관련 수정 [3.0.4]
- 기본/대기중 정책 조회 시 volume/disk 포함, 대기중 생성 시 disk 하드코딩(1) 제거, 기본정책 존재 시 수정 불가 이슈 해결
- 요금 미터링/보정 스케줄 [3.0.4]
- 미터링 01:30 → 08:00, 매월 1일 09:00 보정 배치
QA
- OKESTRO-2795: 테넌트 단위 리소스 분리/조회 가능 여부 및 API 개선안 [3.0.4]
- OKESTRO-2794: [NCP] VM 하위 볼륨 리소스 식별 가능 여부 및 수집 로직 검토 [3.0.4]
- 플랫폼/테넌트 Unknown 필터 시 비어 보이는 문제 해결 [3.0.4]
- 조직/플랫폼 요금 페이지 월별 조회 제한 [3.0.4]
문서화/가이드
- 수집 프로젝트 가이드 문서 [3.0.4]
- 메타/메트릭 지침, 공통 유의사항, 네이밍 컨벤션
- 역할: job-producer, job-worker, common-process
- 이벤트 흐름: job-producer → job-worker → (common-process / metric-collector)
- Golang 백엔드 TF [3.0.5]
- MNRP-GO-19: Logging/Tracing
- MNRP-GO-22: Exception
CMP Core
- IaaS Network IP Pool 관리 [3.0.4-alpha]
- 목록/상세 조회, 생성, 수정, 삭제
- 테스트 케이스 문서 작성/공유
Tech Stack
인벤토리 파이프라인부터 거버넌스 자동화, 비용 인사이트까지 멀티클라우드 운영을 지탱하는 핵심 스택을 구성했습니다.
DATA
Inventory Pipeline
멀티클라우드 자원 데이터를 수집해 표준 스키마로 적재하는 백엔드 파이프라인
Apache AirflowAWS Step FunctionsKubernetes ETL WorkersBigQuery
OPS
Governance & Automation
정책 DSL과 이벤트 버스를 연결해 위반 감지와 대응을 자동화
AsyncAPIRedis StreamsSlack BotJira Automation
FINOPS
FinOps & Insights
비용, 사용량 데이터를 통합해 Forecast와 절감 인사이트를 제공
AWS CURAzure Cost ManagementLooker Studiodbt