Files
chocomae/doc/obsidian/monitoring-aws-ec2/analyze_monitoring.py
T

394 lines
17 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""
ChocoMae 모니터링 데이터 분석 스크립트
Usage:
python3 analyze_monitoring.py [data_dir]
Example:
python3 analyze_monitoring.py /home/ubuntu/chocomae-monitoring
"""
import os
import sys
import glob
import pandas as pd
import numpy as np
from datetime import datetime, timedelta
import json
class MonitoringAnalyzer:
def __init__(self, data_dir):
self.data_dir = data_dir
self.df = None
self.load_data()
def load_data(self):
"""모든 CSV 파일 로드 및 통합"""
csv_files = sorted(glob.glob(os.path.join(self.data_dir, 'chocomae-*.log')))
if not csv_files:
print(f"❌ Error: No monitoring data found in {self.data_dir}")
sys.exit(1)
dfs = []
for csv_file in csv_files:
try:
df = pd.read_csv(csv_file)
df['timestamp'] = pd.to_datetime(df['timestamp'])
dfs.append(df)
print(f"✓ Loaded: {os.path.basename(csv_file)} ({len(df)} records)")
except Exception as e:
print(f"⚠ Warning: Failed to load {csv_file}: {e}")
if dfs:
self.df = pd.concat(dfs, ignore_index=True)
self.df = self.df.sort_values('timestamp').reset_index(drop=True)
print(f"\n✓ Total records: {len(self.df)}")
print(f"✓ Date range: {self.df['timestamp'].min()} ~ {self.df['timestamp'].max()}")
else:
print("❌ No valid data to process")
sys.exit(1)
def extract_numeric(self, series):
"""시리즈에서 수치값 추출 (NA 처리)"""
return pd.to_numeric(series, errors='coerce')
# ========================================================================
# 1. 시스템 전체 분석
# ========================================================================
def system_summary(self):
"""시스템 전체 요약 통계"""
print("\n" + "="*70)
print("1. 시스템 전체 분석")
print("="*70)
metrics = {
'시스템 CPU': 'system_cpu_usage_percent',
'시스템 메모리': 'system_mem_usage_percent',
'메모리 여유': 'system_mem_free_gb',
'Apache CPU': 'apache_cpu',
'Apache 메모리': 'apache_mem',
'PHP CPU': 'php_cpu',
'PHP 메모리': 'php_mem',
'MariaDB CPU': 'mariadb_cpu',
'MariaDB 메모리': 'mariadb_mem',
'디스크 사용률': 'disk_root_usage_percent',
'디스크 IO 읽기': 'disk_io_read_mb_s',
'디스크 IO 쓰기': 'disk_io_write_mb_s',
}
for label, col in metrics.items():
if col in self.df.columns:
data = self.extract_numeric(self.df[col])
print(f"\n{label}:")
print(f" 평균: {data.mean():.2f}")
print(f" 최대: {data.max():.2f}")
print(f" 최소: {data.min():.2f}")
print(f" 표준편차: {data.std():.2f}")
# ========================================================================
# 2. 시간대별 분석 (피크 타임 파악)
# ========================================================================
def hourly_analysis(self):
"""시간대별 분석"""
print("\n" + "="*70)
print("2. 시간대별 분석 (피크 타임 파악)")
print("="*70)
self.df['hour'] = self.df['timestamp'].dt.hour
hourly_metrics = {
'시스템 CPU (%)': 'system_cpu_usage_percent',
'시스템 메모리 (%)': 'system_mem_usage_percent',
'Apache Busy Workers': 'apache_busy_workers',
'MariaDB 연결': 'mariadb_conn_current',
'Total Accesses': 'apache_total_accesses',
}
for label, col in hourly_metrics.items():
if col in self.df.columns:
hourly = self.df.groupby('hour')[col].agg(['mean', 'max', 'min'])
hourly.columns = ['평균', '최대', '최소']
print(f"\n{label}:")
print(hourly.to_string())
# ========================================================================
# 3. 요일별 분석
# ========================================================================
def daily_analysis(self):
"""요일별 분석"""
print("\n" + "="*70)
print("3. 요일별 분석")
print("="*70)
self.df['date'] = self.df['timestamp'].dt.date
daily_metrics = {
'시스템 CPU (%)': 'system_cpu_usage_percent',
'시스템 메모리 (%)': 'system_mem_usage_percent',
'Apache Busy Workers': 'apache_busy_workers',
'MariaDB 연결': 'mariadb_conn_current',
'Total Accesses': 'apache_total_accesses',
}
for label, col in daily_metrics.items():
if col in self.df.columns:
daily = self.df.groupby('date')[col].agg(['mean', 'max', 'min'])
daily.columns = ['평균', '최대', '최소']
print(f"\n{label}:")
print(daily.to_string())
# ========================================================================
# 4. Apache 분석
# ========================================================================
def apache_analysis(self):
"""Apache 성능 분석"""
print("\n" + "="*70)
print("4. Apache 성능 분석")
print("="*70)
print("\n[Worker 상태]")
print(f" Busy Workers - 평균: {self.extract_numeric(self.df['apache_busy_workers']).mean():.1f}, 최대: {self.extract_numeric(self.df['apache_busy_workers']).max():.0f}")
print(f" Idle Workers - 평균: {self.extract_numeric(self.df['apache_idle_workers']).mean():.1f}, 최대: {self.extract_numeric(self.df['apache_idle_workers']).max():.0f}")
print("\n[연결 상태]")
print(f" Keep-Alive 연결 - 평균: {self.extract_numeric(self.df['apache_ka_connections']).mean():.1f}, 최대: {self.extract_numeric(self.df['apache_ka_connections']).max():.0f}")
print("\n[처리량]")
total_accesses = self.extract_numeric(self.df['apache_total_accesses'])
accesses_delta = total_accesses.diff()
print(f" 초당 요청 수 - 평균: {accesses_delta.mean():.1f}, 최대: {accesses_delta.max():.0f}")
print(f" 누적 요청 수: {total_accesses.iloc[-1]:.0f}")
print("\n[CPU/메모리 사용]")
print(f" CPU - 평균: {self.extract_numeric(self.df['apache_cpu']).mean():.2f}%, 최대: {self.extract_numeric(self.df['apache_cpu']).max():.2f}%")
print(f" 메모리 - 평균: {self.extract_numeric(self.df['apache_mem']).mean():.0f}MB, 최대: {self.extract_numeric(self.df['apache_mem']).max():.0f}MB")
# ========================================================================
# 5. MariaDB 분석
# ========================================================================
def mariadb_analysis(self):
"""MariaDB 성능 분석"""
print("\n" + "="*70)
print("5. MariaDB 성능 분석")
print("="*70)
print("\n[연결 풀 상태]")
print(f" 현재 연결 - 평균: {self.extract_numeric(self.df['mariadb_conn_current']).mean():.1f}, 최대: {self.extract_numeric(self.df['mariadb_conn_current']).max():.0f}")
print(f" 최대 사용 연결 - 값: {self.extract_numeric(self.df['mariadb_conn_max']).max():.0f}")
print("\n[스레드 상태]")
print(f" 실행 중인 스레드 - 평균: {self.extract_numeric(self.df['mariadb_threads_running']).mean():.1f}, 최대: {self.extract_numeric(self.df['mariadb_threads_running']).max():.0f}")
print("\n[Slow Queries]")
slow_queries = self.extract_numeric(self.df['mariadb_slow_queries'])
slow_delta = slow_queries.diff()
print(f" 누적 Slow Queries: {slow_queries.iloc[-1]:.0f}")
print(f" 기간 동안 추가된 Slow Queries: {slow_delta.sum():.0f}")
print("\n[CPU/메모리 사용]")
print(f" CPU - 평균: {self.extract_numeric(self.df['mariadb_cpu']).mean():.2f}%, 최대: {self.extract_numeric(self.df['mariadb_cpu']).max():.2f}%")
print(f" 메모리 - 평균: {self.extract_numeric(self.df['mariadb_mem']).mean():.0f}MB, 최대: {self.extract_numeric(self.df['mariadb_mem']).max():.0f}MB")
# ========================================================================
# 6. PHP 분석
# ========================================================================
def php_analysis(self):
"""PHP-FPM 성능 분석"""
print("\n" + "="*70)
print("6. PHP-FPM 성능 분석")
print("="*70)
print("\n[프로세스 상태]")
print(f" 프로세스 개수 - 평균: {self.extract_numeric(self.df['php_conn_count']).mean():.1f}, 최대: {self.extract_numeric(self.df['php_conn_count']).max():.0f}")
print("\n[CPU/메모리 사용]")
print(f" CPU - 평균: {self.extract_numeric(self.df['php_cpu']).mean():.2f}%, 최대: {self.extract_numeric(self.df['php_cpu']).max():.2f}%")
print(f" 메모리 - 평균: {self.extract_numeric(self.df['php_mem']).mean():.0f}MB, 최대: {self.extract_numeric(self.df['php_mem']).max():.0f}MB")
# ========================================================================
# 7. 디스크 분석
# ========================================================================
def disk_analysis(self):
"""디스크 성능 분석"""
print("\n" + "="*70)
print("7. 디스크 분석")
print("="*70)
print("\n[디스크 용량]")
print(f" 사용률 - 평균: {self.extract_numeric(self.df['disk_root_usage_percent']).mean():.1f}%, 최대: {self.extract_numeric(self.df['disk_root_usage_percent']).max():.1f}%")
print(f" 여유 공간 - 최소: {self.extract_numeric(self.df['disk_root_free_gb']).min():.1f}GB, 평균: {self.extract_numeric(self.df['disk_root_free_gb']).mean():.1f}GB")
print("\n[디스크 IO]")
print(f" 읽기 - 평균: {self.extract_numeric(self.df['disk_io_read_mb_s']).mean():.2f}MB/s, 최대: {self.extract_numeric(self.df['disk_io_read_mb_s']).max():.2f}MB/s")
print(f" 쓰기 - 평균: {self.extract_numeric(self.df['disk_io_write_mb_s']).mean():.2f}MB/s, 최대: {self.extract_numeric(self.df['disk_io_write_mb_s']).max():.2f}MB/s")
# ========================================================================
# 8. Serverless 마이그레이션 권고사항
# ========================================================================
def serverless_recommendations(self):
"""Serverless 마이그레이션 권고사항"""
print("\n" + "="*70)
print("8. Serverless 마이그레이션 권고사항")
print("="*70)
# 피크 시간대 파악
self.df['hour'] = self.df['timestamp'].dt.hour
peak_hour = self.df.groupby('hour')['system_cpu_usage_percent'].mean().idxmax()
peak_cpu = self.df.groupby('hour')['system_cpu_usage_percent'].mean().max()
# 동시 연결 수 분석
max_connections = self.extract_numeric(self.df['mariadb_conn_current']).max()
avg_connections = self.extract_numeric(self.df['mariadb_conn_current']).mean()
# 메모리 요구사항
total_mem_peak = (
self.extract_numeric(self.df['apache_mem']).max() +
self.extract_numeric(self.df['php_mem']).max() +
self.extract_numeric(self.df['mariadb_mem']).max()
)
# 처리량 분석
accesses = self.extract_numeric(self.df['apache_total_accesses'])
total_time_minutes = len(self.df)
rps = accesses.diff().mean() if len(accesses) > 1 else 0
print(f"\n📊 주요 지표 요약:")
print(f" • 피크 시간대: {peak_hour}:00 (CPU: {peak_cpu:.1f}%)")
print(f" • 동시 연결 수: 평균 {avg_connections:.0f}, 최대 {max_connections:.0f}")
print(f" • 피크 메모리 요구: 약 {total_mem_peak:.0f}MB")
print(f" • 처리량: 약 {rps:.1f} 요청/초")
print(f"\n💡 권고사항:")
# 1. 동시 연결 분석
if max_connections > 100:
print(f" 1. RDS Aurora / Serverless Aurora 사용 권고")
print(f" - 현재 최대 {max_connections:.0f}개 동시 연결 처리 필요")
print(f" - Connection Pooling (RDS Proxy) 권장")
else:
print(f" 1. ✓ 데이터베이스 연결 규모는 Serverless 적합")
# 2. 처리량 분석
if rps > 10:
print(f" 2. AWS Lambda 함수 메모리/타임아웃 최적화")
print(f" - 초당 {rps:.1f}개 요청 처리 필요")
print(f" - 동시 실행 한계 설정 권장")
else:
print(f" 2. ✓ 처리량 규모는 Lambda 기본 설정으로 충분")
# 3. 메모리 분석
print(f" 3. Lambda 메모리 할당 제안: {min(3008, max(512, int(total_mem_peak * 1.5)))}MB")
print(f" - 피크 메모리: {total_mem_peak:.0f}MB")
# 4. API Gateway + ALB 검토
print(f" 4. API Gateway 스로틀링 설정")
print(f" - 예상 피크 요청 속도: {rps * 5:.0f} 요청/초 (여유도 포함)")
# 5. 데이터베이스 최적화
slow_queries = self.extract_numeric(self.df['mariadb_slow_queries'])
if len(slow_queries) > 1:
slow_delta = slow_queries.diff().sum()
if slow_delta > 0:
print(f" 5. ⚠️ Slow Query 최적화 필수")
print(f" - 기간 동안 {slow_delta:.0f}개 Slow Query 발생")
else:
print(f" 5. ✓ Slow Query 이슈 없음")
# 6. 아키텍처 제안
print(f"\n🏗️ 추천 아키텍처:")
print(f" • API Gateway → Lambda (PHP/Node.js runtime)")
print(f" • RDS Aurora Serverless (또는 RDS Proxy + MariaDB)")
print(f" • CloudWatch Logs 및 X-Ray 통합")
print(f" • S3 (정적 자산) + CloudFront (CDN)")
print(f" • Auto Scaling: Lambda concurrency {min(1000, int(max_connections * 10))}")
# ========================================================================
# 9. 이상 탐지 (Anomaly Detection)
# ========================================================================
def anomaly_detection(self):
"""이상 탐지"""
print("\n" + "="*70)
print("9. 이상 탐지")
print("="*70)
# CPU 이상치
cpu_data = self.extract_numeric(self.df['system_cpu_usage_percent'])
cpu_mean = cpu_data.mean()
cpu_std = cpu_data.std()
cpu_threshold = cpu_mean + 2 * cpu_std
cpu_anomalies = self.df[self.extract_numeric(self.df['system_cpu_usage_percent']) > cpu_threshold]
if len(cpu_anomalies) > 0:
print(f"\n⚠️ CPU 이상치 감지:")
print(f" • 기준값: {cpu_threshold:.1f}% (평균 + 2σ)")
print(f" • 이상치 발생 횟수: {len(cpu_anomalies)}")
print(f" • 최대값: {cpu_data.max():.1f}%")
# 메모리 이상치
mem_data = self.extract_numeric(self.df['system_mem_usage_percent'])
mem_anomalies = self.df[mem_data > 90]
if len(mem_anomalies) > 0:
print(f"\n⚠️ 메모리 부족 감지:")
print(f" • 90% 이상 사용 횟수: {len(mem_anomalies)}")
# 연결 누수 (MariaDB)
conn_data = self.extract_numeric(self.df['mariadb_conn_current'])
conn_increase = conn_data.diff()
sustained_increase = len(conn_increase[conn_increase > 5])
if sustained_increase > 10:
print(f"\n⚠️ 데이터베이스 연결 증가 추세 감지:")
print(f" • 급격한 증가 횟수: {sustained_increase}")
print(f" • 최대값: {conn_data.max():.0f}")
# Slow Query 증가
slow_data = self.extract_numeric(self.df['mariadb_slow_queries'])
if len(slow_data) > 1:
slow_delta = slow_data.diff().sum()
if slow_delta > 10:
print(f"\n⚠️ Slow Query 발생 증가:")
print(f" • 기간 동안 발생: {slow_delta:.0f}개")
if len(cpu_anomalies) == 0 and len(mem_anomalies) == 0 and sustained_increase <= 10:
print("\n✓ 이상 탐지 결과: 정상 범위 내")
# ========================================================================
# 메인 분석 실행
# ========================================================================
def run_all(self):
"""전체 분석 실행"""
self.system_summary()
self.hourly_analysis()
self.daily_analysis()
self.apache_analysis()
self.mariadb_analysis()
self.php_analysis()
self.disk_analysis()
self.anomaly_detection()
self.serverless_recommendations()
print("\n" + "="*70)
print("분석 완료")
print("="*70 + "\n")
def main():
if len(sys.argv) > 1:
data_dir = sys.argv[1]
else:
data_dir = '/home/ubuntu/chocomae-monitoring'
if not os.path.isdir(data_dir):
print(f"❌ Error: Directory not found: {data_dir}")
sys.exit(1)
analyzer = MonitoringAnalyzer(data_dir)
analyzer.run_all()
if __name__ == '__main__':
main()