diff --git a/doc/obsidian/monitoring-aws-ec2/MONITORING_SETUP.md b/doc/obsidian/monitoring-aws-ec2/MONITORING_SETUP.md new file mode 100644 index 0000000..a3199a1 --- /dev/null +++ b/doc/obsidian/monitoring-aws-ec2/MONITORING_SETUP.md @@ -0,0 +1,232 @@ +# ChocoMae 24/7 모니터링 설정 가이드 + +## 개요 + +이 모니터링 스크립트는 EC2 인스턴스(t3a.medium, Ubuntu 24.04.1 LTS)의 성능 지표를 1주일 동안 수집합니다. +- **모니터링 대상**: Apache(WEB), PHP-FPM(WAS), MariaDB(DB) +- **수집 간격**: 1분 +- **보관 기간**: 7일 (자동 rotation) +- **저장 형식**: CSV + +--- + +## 설치 및 실행 + +### 1. 사전 요구사항 + +```bash +# 필수 패키지 설치 +sudo apt-get update +sudo apt-get install -y sysstat curl + +# iostat 확인 +which iostat +# /usr/bin/iostat가 있어야 DISK IO 정보 수집 가능 +``` + +### 2. 스크립트 배치 + +```bash +# 스크립트 복사 +sudo cp chocomae-24h-monitoring.sh /home/ubuntu/ + +# 실행 권한 설정 +sudo chmod +x /home/ubuntu/chocomae-24h-monitoring.sh + +# 모니터링 디렉토리 생성 +sudo mkdir -p /home/ubuntu/chocomae-monitoring +sudo chown ubuntu:ubuntu /home/ubuntu/chocomae-monitoring +``` + +### 3. Cron 등록 (선택사항) + +시스템 부팅 시 자동으로 모니터링을 시작하려면: + +```bash +sudo crontab -e + +# 다음 라인 추가: +@reboot /home/ubuntu/chocomae-24h-monitoring.sh > /home/ubuntu/chocomae-monitoring/monitor.log 2>&1 & +``` + +또는 `systemd` 서비스로 등록하려면: + +```bash +# /etc/systemd/system/chocomae-monitoring.service 생성 +sudo tee /etc/systemd/system/chocomae-monitoring.service > /dev/null <= '2026-09-21 13:00:00') & + (df['timestamp'] <= '2026-09-21 15:00:00') +] +print(f"피크 타임 평균 CPU: {peak_time['system_cpu_usage_percent'].mean():.2f}%") +``` + +--- + +## 성능 최적화 팁 + +- **모니터링 주기**: 1분이 기본값. 더 자세한 분석이 필요하면 30초로 조정 가능 +- **저장 공간**: 1분 간격으로 7일 데이터 ≈ 10KB/일 +- **대역폭 영향**: 미미함 (초당 <1KB) + +--- + +## Serverless 마이그레이션 체크리스트 + +수집된 데이터로 다음을 검토하세요: + +- [ ] **동시 사용자 수** (Apache busy_workers, MariaDB connections) +- [ ] **피크 시간대** (시간별 CPU, 메모리 사용률) +- [ ] **데이터베이스 부하** (MariaDB slow queries, threads_running) +- [ ] **메모리 요구사항** (Peak memory usage) +- [ ] **처리량** (Requests per second) +- [ ] **응답 시간** (필요하면 애플리케이션 로그와 연관 분석) + +--- + +## 참고사항 + +- 스크립트는 `ubuntu` 사용자로 실행되어야 합니다 +- MariaDB 접근 시 sudo 권한이 필요하므로 설정을 확인하세요 +- 네트워크 지연이나 서버 과부하로 인해 일부 메트릭 수집이 실패할 수 있습니다 (NA로 기록) diff --git a/doc/obsidian/monitoring-aws-ec2/QUICK_START.md b/doc/obsidian/monitoring-aws-ec2/QUICK_START.md new file mode 100644 index 0000000..672bd6a --- /dev/null +++ b/doc/obsidian/monitoring-aws-ec2/QUICK_START.md @@ -0,0 +1,310 @@ +# ChocoMae 모니터링 - 빠른 시작 가이드 + +## 📌 개요 + +**목적**: EC2 인스턴스(t3a.medium)에서 1주일간 24시간 성능 지표를 수집하여 Serverless 마이그레이션 준비 + +**모니터링 대상**: +- WEB: Apache +- WAS: PHP-FPM +- DB: MariaDB +- System: CPU, Memory, Disk + +**수집 주기**: 1분 간격 (1주일 = ~10,000개 레코드) + +--- + +## 🚀 설치 (5분) + +### 1. 서버 접속 및 필수 패키지 설치 + +```bash +ssh ubuntu@ + +# 필수 패키지 설치 +sudo apt-get update +sudo apt-get install -y sysstat curl python3 python3-pandas + +# iostat 확인 (DISK IO 수집용) +which iostat +``` + +### 2. Sudo 설정 (MariaDB 비밀번호 없이 접근) + +```bash +sudo visudo + +# 다음 라인을 파일 끝에 추가: +ubuntu ALL=(ALL) NOPASSWD: /usr/bin/mariadb +``` + +### 3. 스크립트 배포 + +```bash +# 로컬에서 실행 +scp chocomae-24h-monitoring.sh ubuntu@:/home/ubuntu/ +scp analyze_monitoring.py ubuntu@:/home/ubuntu/ + +# 또는 서버에서 직접 생성 +# (파일 내용을 복사하여 /home/ubuntu/chocomae-24h-monitoring.sh 생성) +``` + +### 4. 권한 설정 + +```bash +ssh ubuntu@ + +chmod +x /home/ubuntu/chocomae-24h-monitoring.sh +mkdir -p /home/ubuntu/chocomae-monitoring +``` + +--- + +## ⚙️ 실행 방법 (3가지) + +### 방법 1: 간단하게 백그라운드 실행 (즉시 시작) + +```bash +/home/ubuntu/chocomae-24h-monitoring.sh & +``` + +### 방법 2: Systemd 서비스로 자동 관리 (권장) + +```bash +# 서비스 파일 생성 +sudo tee /etc/systemd/system/chocomae-monitoring.service > /dev/null <<'EOF' +[Unit] +Description=ChocoMae 24/7 Monitoring +After=network.target + +[Service] +Type=simple +User=ubuntu +WorkingDirectory=/home/ubuntu +ExecStart=/home/ubuntu/chocomae-24h-monitoring.sh +Restart=always +RestartSec=10 + +[Install] +WantedBy=multi-user.target +EOF + +# 서비스 등록 및 시작 +sudo systemctl daemon-reload +sudo systemctl enable chocomae-monitoring.service +sudo systemctl start chocomae-monitoring.service + +# 상태 확인 +sudo systemctl status chocomae-monitoring.service +``` + +### 방법 3: Cron으로 부팅 시 자동 실행 + +```bash +crontab -e + +# 다음 라인 추가: +@reboot /home/ubuntu/chocomae-24h-monitoring.sh > /home/ubuntu/chocomae-monitoring/monitor.log 2>&1 & +``` + +--- + +## 📊 모니터링 확인 + +### 실행 확인 + +```bash +# 프로세스 확인 +ps aux | grep chocomae-24h-monitoring + +# 로그 파일 확인 +ls -lh /home/ubuntu/chocomae-monitoring/ + +# 실시간 로그 보기 +tail -f /home/ubuntu/chocomae-monitoring/chocomae-$(date +%Y%m%d).log +``` + +### 로그 형식 + +``` +timestamp,apache_cpu,apache_mem,... +2026-09-21 14:30:00,5.2,180,50,... +2026-09-21 14:31:00,6.1,185,52,... +``` + +--- + +## 📈 데이터 분석 (1주일 후) + +### 1. 자동 분석 (권장) + +```bash +# Python 분석 스크립트 실행 +python3 /home/ubuntu/analyze_monitoring.py /home/ubuntu/chocomae-monitoring + +# 결과를 파일로 저장 +python3 /home/ubuntu/analyze_monitoring.py /home/ubuntu/chocomae-monitoring > report.txt +``` + +### 2. 생성되는 분석 항목 + +✅ 시스템 전체 통계 (CPU, 메모리 평균/최대/최소) +✅ **시간대별 분석 (피크 타임 파악)** +✅ 요일별 분석 +✅ Apache 성능 (Workers, Keep-Alive, 처리량) +✅ MariaDB 성능 (연결, 스레드, Slow Queries) +✅ PHP-FPM 성능 +✅ 디스크 성능 (용량, IO) +✅ **이상 탐지** (CPU/메모리 스파이크) +✅ **🎯 Serverless 마이그레이션 권고사항** + +### 3. 수동 분석 + +```bash +# CSV 데이터 병합 +cat /home/ubuntu/chocomae-monitoring/chocomae-*.log > all_data.csv + +# Excel/Sheets에서 분석 또는 Python으로 커스텀 분석 +python3 << 'EOF' +import pandas as pd +df = pd.read_csv('all_data.csv') + +# 피크 타임 확인 +df['hour'] = pd.to_datetime(df['timestamp']).dt.hour +print(df.groupby('hour')['system_cpu_usage_percent'].mean()) + +# 최대 메모리 사용 +print(f"Max memory: {df['system_mem_usage_percent'].max()}%") +EOF +``` + +--- + +## 🎯 Serverless 마이그레이션 준비 체크리스트 + +분석 결과로 다음을 검토하세요: + +### 데이터베이스 +- [ ] 동시 연결 수 확인 → RDS Aurora 메모리 크기 결정 +- [ ] Slow Query 확인 → 쿼리 최적화 목록 작성 +- [ ] Connection Pool 설정 → RDS Proxy 도입 검토 + +### 애플리케이션 +- [ ] Peak CPU/Memory → Lambda 메모리 할당 (권고: 1024~3008MB) +- [ ] Peak RPS → Lambda 동시 실행 제한 설정 +- [ ] Session/State 관리 → DynamoDB/ElastiCache 마이그레이션 + +### 인프라 +- [ ] API Gateway 스로틀링 설정 +- [ ] CloudWatch 로그 및 X-Ray 추적 설정 +- [ ] S3 + CloudFront (정적 자산) +- [ ] Secrets Manager (환경 변수) + +--- + +## 🔍 문제 해결 + +| 증상 | 해결방법 | +|------|---------| +| `Permission denied` | `chmod +x chocomae-24h-monitoring.sh` | +| MariaDB 접근 실패 | sudo visudo에서 NOPASSWD 설정 | +| `iostat: command not found` | `sudo apt-get install -y sysstat` | +| Apache `/server-status` 오류 | `sudo a2enmod status && sudo systemctl restart apache2` | +| 로그 파일 없음 | `mkdir -p /home/ubuntu/chocomae-monitoring` | + +--- + +## 📋 수집되는 지표 (전체) + +### Apache (WEB) +- cpu, mem, busy_workers, idle_workers, ka_connections, total_accesses + +### PHP-FPM (WAS) +- cpu, mem, process_count + +### MariaDB (DB) +- cpu, mem, connections, max_connections, threads_running, slow_queries + +### 시스템 +- cpu_usage, mem_usage, mem_free, disk_usage, disk_free, disk_io_read, disk_io_write + +--- + +## 📚 상세 가이드 + +더 자세한 내용은 다음 문서를 참조하세요: + +- **README.md** - 전체 개요 및 분석 가이드 +- **MONITORING_SETUP.md** - 설치, 설정, 문제 해결 +- **chocomae-24h-monitoring.sh** - 스크립트 코드 및 주석 +- **analyze_monitoring.py** - 분석 스크립트 코드 및 함수 설명 + +--- + +## 💡 팁 + +### 1. 모니터링 주기 조정 +```bash +# 스크립트 내 INTERVAL 변수 수정 +# INTERVAL=60 (기본값, 1분) +# INTERVAL=30 (더 자세한 데이터, 저장 용량 2배) +``` + +### 2. 특정 시간대만 분석 +```python +import pandas as pd +df = pd.read_csv('all_data.csv') +df['timestamp'] = pd.to_datetime(df['timestamp']) + +# 평일 오후 1~3시만 분석 +peak = df[ + (df['timestamp'].dt.hour >= 13) & + (df['timestamp'].dt.hour < 15) & + (df['timestamp'].dt.weekday < 5) # 월~금 +] +print(peak['system_cpu_usage_percent'].describe()) +``` + +### 3. 특정 이슈 추적 +```bash +# Slow Query 급증 확인 +grep "mariadb_slow_queries" /home/ubuntu/chocomae-monitoring/chocomae-*.log | tail -50 + +# 메모리 스파이크 확인 +grep -E "^[0-9]{4}-[0-9]{2}-[0-9]{2}" /home/ubuntu/chocomae-monitoring/chocomae-*.log | \ + awk -F',' '$10 > 90 {print $0}' +``` + +--- + +## ✅ 완료 체크리스트 + +- [ ] 필수 패키지 설치 완료 +- [ ] sudo NOPASSWD 설정 완료 +- [ ] 스크립트 배포 및 권한 설정 완료 +- [ ] 모니터링 시작 확인 (로그 파일 생성) +- [ ] 1주일 후 데이터 수집 완료 +- [ ] Python 분석 스크립트 실행 +- [ ] Serverless 마이그레이션 체크리스트 작성 +- [ ] AWS 인프라 설계 시작 + +--- + +## 📞 피드백 및 커스터마이징 + +**스크립트 커스터마이징이 필요하면:** +- 모니터링 주기 조정: `INTERVAL` 변수 수정 +- 추가 지표 수집: `get_*_metrics()` 함수 확장 +- 데이터 보관 기간: `LOG_RETENTION_DAYS` 수정 + +**분석 스크립트 커스터마이징이 필요하면:** +- `analyze_monitoring.py`의 함수 추가/수정 +- 자체 분석 로직 구현 (pandas 기반) + +--- + +**시작하기**: `ssh ubuntu@` → `./chocomae-24h-monitoring.sh &` + +**1주일 후**: `python3 analyze_monitoring.py /home/ubuntu/chocomae-monitoring` + +**이 가이드를 완료하는 데 약 10-15분이 소요됩니다.** diff --git a/doc/obsidian/monitoring-aws-ec2/README.md b/doc/obsidian/monitoring-aws-ec2/README.md new file mode 100644 index 0000000..8278cb6 --- /dev/null +++ b/doc/obsidian/monitoring-aws-ec2/README.md @@ -0,0 +1,308 @@ +# ChocoMae 성능 모니터링 & Serverless 마이그레이션 준비 + +이 패키지는 현재 운영 중인 EC2 인스턴스(t3a.medium, Ubuntu 24.04.1 LTS)에서 **1주일 동안 24시간 성능 지표를 수집**하고, 이를 바탕으로 **Serverless 아키텍처로의 마이그레이션을 준비**하기 위한 도구입니다. + +--- + +## 📋 패키지 구성 + +| 파일 | 설명 | +|------|------| +| `chocomae-24h-monitoring.sh` | **메인 모니터링 스크립트** - 1분 간격으로 지표 수집 | +| `analyze_monitoring.py` | **데이터 분석 스크립트** - 수집된 CSV를 분석 및 시각화 | +| `MONITORING_SETUP.md` | **설정 및 설치 가이드** | +| `README.md` | **이 파일** - 전체 개요 및 사용 가이드 | + +--- + +## 🚀 빠른 시작 + +### 1단계: 서버에 스크립트 배포 + +```bash +# 로컬에서 서버로 복사 +scp chocomae-24h-monitoring.sh ubuntu@:/home/ubuntu/ +scp analyze_monitoring.py ubuntu@:/home/ubuntu/ + +# 또는 서버에서 직접 다운로드 +ssh ubuntu@ +cd /home/ubuntu +# 스크립트를 서버에 준비 +``` + +### 2단계: 필수 패키지 설치 + +```bash +ssh ubuntu@ + +# 사전 요구사항 확인 및 설치 +sudo apt-get update +sudo apt-get install -y sysstat curl python3 python3-pandas + +# sudo 비밀번호 없이 mariadb 명령 실행 설정 +sudo visudo +# 다음 라인 추가: +# ubuntu ALL=(ALL) NOPASSWD: /usr/bin/mariadb +``` + +### 3단계: 모니터링 시작 + +```bash +# 방법 1: 백그라운드 실행 +/home/ubuntu/chocomae-24h-monitoring.sh & + +# 방법 2: systemd 서비스로 자동 실행 (추천) +# MONITORING_SETUP.md 참조 +``` + +### 4단계: 1주일 후 데이터 분석 + +```bash +# 수집된 데이터 분석 +python3 analyze_monitoring.py /home/ubuntu/chocomae-monitoring + +# 또는 직접 CSV 파일 확인 +ls -lh /home/ubuntu/chocomae-monitoring/ +head -100 /home/ubuntu/chocomae-monitoring/chocomae-20260921.log +``` + +--- + +## 📊 수집 항목 + +### WEB (Apache) +- **CPU 사용률** (%) +- **메모리 사용량** (MB) +- **Busy/Idle Workers 수** (개) +- **Keep-Alive 연결 수** (개) +- **누적 요청 수** (개) + +### WAS (PHP-FPM) +- **CPU 사용률** (%) +- **메모리 사용량** (MB) +- **프로세스 개수** (개) + +### DB (MariaDB) +- **CPU 사용률** (%) +- **메모리 사용량** (MB) +- **현재 연결 수** (개) +- **최대 사용된 연결 수** (개) +- **실행 중인 스레드 수** (개) +- **Slow Query 누적 수** (개) + +### 시스템 +- **전체 CPU 사용률** (%) +- **전체 메모리 사용률** (%) +- **여유 메모리** (GB) +- **디스크 사용률** (%) +- **디스크 여유 공간** (GB) +- **디스크 IO (읽기/쓰기)** (MB/s) + +--- + +## 📈 분석 방법 + +### 1. 자동 분석 (권장) + +```bash +python3 analyze_monitoring.py /home/ubuntu/chocomae-monitoring > analysis_report.txt +``` + +**생성되는 분석 항목:** +- ✓ 시스템 전체 통계 +- ✓ 시간대별 분석 (피크 타임 파악) +- ✓ 요일별 분석 +- ✓ Apache/PHP/MariaDB 성능 분석 +- ✓ 디스크 성능 분석 +- ✓ 이상 탐지 (anomaly detection) +- ✓ **Serverless 마이그레이션 권고사항** + +### 2. 수동 분석 + +```bash +# CSV 파일 직접 확인 +tail -100 /home/ubuntu/chocomae-monitoring/chocomae-20260921.log + +# Excel/Spreadsheet에서 분석 +# 또는 Python/R에서 커스텀 분석 +``` + +--- + +## 🎯 Serverless 마이그레이션 체크리스트 + +분석 결과를 바탕으로 다음을 검토하세요: + +### 아키텍처 설계 +- [ ] **동시 연결 분석** - Lambda concurrency 설정 +- [ ] **처리량 분석** - 필요한 Lambda 인스턴스 수 +- [ ] **메모리 요구사항** - Lambda 메모리 할당 +- [ ] **실행 시간** - Lambda 타임아웃 설정 + +### 데이터베이스 마이그레이션 +- [ ] **RDS Aurora 도입** (또는 RDS Aurora Serverless) +- [ ] **Connection Pooling** (RDS Proxy 사용) +- [ ] **Slow Query 최적화** +- [ ] **데이터베이스 인덱스 검증** + +### 애플리케이션 수정 +- [ ] **파일 업로드/다운로드** (S3로 이동) +- [ ] **세션 관리** (DynamoDB 또는 ElastiCache) +- [ ] **환경 변수 관리** (Secrets Manager) +- [ ] **로깅 및 모니터링** (CloudWatch) + +### 성능 최적화 +- [ ] **API Gateway 스로틀링** 설정 +- [ ] **Lambda 시작 시간 최적화** (Cold Start) +- [ ] **데이터베이스 성능 튜닝** +- [ ] **캐싱 전략** (CloudFront, ElastiCache) + +--- + +## 💾 데이터 보관 및 백업 + +### 모니터링 데이터 위치 +``` +/home/ubuntu/chocomae-monitoring/ +├── chocomae-20260921.log # 일별 CSV 파일 +├── chocomae-20260922.log +└── ... +``` + +### 데이터 내보내기 +```bash +# 모든 데이터를 하나의 CSV로 병합 +cat /home/ubuntu/chocomae-monitoring/chocomae-*.log > all_monitoring_data.csv + +# 또는 head 제거 후 병합 +head -1 /home/ubuntu/chocomae-monitoring/chocomae-20260921.log > all_data.csv +tail -n +2 /home/ubuntu/chocomae-monitoring/chocomae-*.log >> all_data.csv +``` + +### S3로 백업 (선택) +```bash +aws s3 sync /home/ubuntu/chocomae-monitoring/ s3://your-bucket/monitoring-data/ +``` + +--- + +## 🔧 문제 해결 + +### Q: 스크립트가 Permission Denied 오류 발생 +```bash +chmod +x /home/ubuntu/chocomae-24h-monitoring.sh +``` + +### Q: MariaDB 연결 실패 +```bash +# sudo 설정 확인 +sudo visudo +# 다음 라인 추가: +# ubuntu ALL=(ALL) NOPASSWD: /usr/bin/mariadb +``` + +### Q: iostat 명령 없음 +```bash +sudo apt-get install -y sysstat +``` + +### Q: Apache /server-status 접근 불가 +```bash +sudo a2enmod status +sudo apache2ctl configtest +sudo systemctl restart apache2 +``` + +### Q: 로그 파일이 생성되지 않음 +```bash +# 디렉토리 권한 확인 +ls -la /home/ubuntu/ +mkdir -p /home/ubuntu/chocomae-monitoring +chmod 755 /home/ubuntu/chocomae-monitoring +``` + +--- + +## 📋 분석 리포트 해석 가이드 + +### 1. 시스템 전체 분석 +``` +시스템 CPU: 평균 15.5%, 최대 45.2% +→ 피크 시간에 CPU 45% 사용 = 여유 있음 (t3a.medium 4 vCPU) +``` + +### 2. 시간대별 분석 +``` +14:00 시스템 CPU: 평균 32%, 최대 52% +→ 주중 오후 1시~3시 피크 (원래 예상한 시간대) +``` + +### 3. Apache 분석 +``` +Busy Workers - 평균 12, 최대 28 +→ 최대 28 workers 사용, 전체 설정된 workers 수와 비교 +``` + +### 4. MariaDB 분석 +``` +현재 연결 - 평균 8, 최대 35 +Slow Queries - 누적 250개 +→ 연결 수는 양호, 하지만 Slow Query 최적화 필요 +``` + +### 5. Serverless 권고사항 +``` +• 피크 시간대: 14:00 (CPU: 45.2%) +• 동시 연결 수: 평균 8, 최대 35 +• Lambda 메모리 할당 제안: 1024MB +• RDS Aurora Serverless 추천 +``` + +--- + +## 📞 지원 및 문의 + +### 문제 발생 시 +1. **로그 확인**: `/home/ubuntu/chocomae-monitoring/monitor.log` (systemd 실행 시) +2. **스크립트 로그**: 콘솔 출력 확인 +3. **시스템 로그**: `journalctl -u chocomae-monitoring` (systemd 서비스) + +### 추가 정보 +- Apache 상태: `curl http://localhost/server-status?auto` +- MariaDB 상태: `mysql -e "SHOW GLOBAL STATUS;"` +- 디스크 사용량: `df -h` +- 프로세스 상태: `ps aux | grep -E 'apache|php|mariadb'` + +--- + +## 📚 참고자료 + +### 현재 구성 (EC2 기준) +- **인스턴스**: t3a.medium (2 vCPU, 4 GB RAM) +- **OS**: Ubuntu 24.04.1 LTS +- **서비스**: Apache, PHP-FPM, MariaDB + +### 관련 문서 +- `MONITORING_SETUP.md` - 상세 설치 및 설정 가이드 +- `chocomae-24h-monitoring.sh` - 모니터링 스크립트 (주석 참고) +- `analyze_monitoring.py` - 분석 스크립트 (함수별 설명) + +--- + +## ✅ 체크리스트 + +모니터링 시작 전 다음을 확인하세요: + +- [ ] 필수 패키지 설치 완료 (sysstat, curl, python3) +- [ ] sudo 비밀번호 설정 (MariaDB 접근용) +- [ ] Apache `/server-status?auto` 정상 작동 +- [ ] MariaDB 접근 테스트 완료 +- [ ] 디렉토리 권한 확인 (`/home/ubuntu/chocomae-monitoring`) +- [ ] 스크립트 실행 권한 확인 (`chmod +x`) +- [ ] 백그라운드 실행 또는 systemd 서비스 구성 완료 + +--- + +**마지막 업데이트**: 2026-09-21 + +**문서 작성자**: 자동 생성 스크립트 및 분석 도구 diff --git a/doc/obsidian/monitoring-aws-ec2/UPDATE_INSTRUCTIONS.md b/doc/obsidian/monitoring-aws-ec2/UPDATE_INSTRUCTIONS.md new file mode 100644 index 0000000..7b2b3d2 --- /dev/null +++ b/doc/obsidian/monitoring-aws-ec2/UPDATE_INSTRUCTIONS.md @@ -0,0 +1,323 @@ +# ChocoMae 모니터링 스크립트 업데이트 가이드 + +## 문제점 및 해결 방법 + +### 발견된 문제 +1. **Apache CPU = 0** → 프로세스 감지 방식이 정확하지 않음 +2. **PHP CPU = 0** → PHP-FPM이 설치되어 있지 않음 (정상) +3. **System CPU 불안정** → top 명령 파싱 오류 + +### 수정 사항 +✅ Apache CPU - `pgrep`으로 정확한 프로세스 감지 +✅ System CPU - top 명령 형식에 맞게 파싱 수정 +✅ PHP-FPM - 없어도 안전하게 처리 +✅ MONITOR_DIR - 경로를 파라미터로 설정 가능 + +--- + +## 업데이트 적용 (3단계) + +### Step 1: 현재 스크립트 중지 + +```bash +# 실행 중인 모니터링 프로세스 확인 +ps aux | grep chocomae-24h-monitoring + +# 프로세스 종료 (PID는 실제 번호로 교체) +kill +# 또는 강제 종료 +killall -9 bash + +# 확인 +ps aux | grep chocomae-24h-monitoring +``` + +### Step 2: 새 스크립트 배포 + +```bash +# 로컬에서 서버로 수정된 스크립트 복사 +scp chocomae-24h-monitoring-fixed.sh ubuntu@:/home/ubuntu/script/monitoring/ + +# 또는 서버에서 직접 편집 +ssh ubuntu@ + +# 기존 파일 백업 +cp /home/ubuntu/script/monitoring/chocomae-24h-monitoring.sh \ + /home/ubuntu/script/monitoring/chocomae-24h-monitoring.sh.backup + +# 새 파일 적용 +cp /home/ubuntu/script/monitoring/chocomae-24h-monitoring-fixed.sh \ + /home/ubuntu/script/monitoring/chocomae-24h-monitoring.sh + +# 실행 권한 설정 +chmod +x /home/ubuntu/script/monitoring/chocomae-24h-monitoring.sh +``` + +### Step 3: 스크립트 재시작 + +```bash +# 방법 1: 백그라운드 실행 +/home/ubuntu/script/monitoring/chocomae-24h-monitoring.sh /home/ubuntu/script/monitoring/chocomae-monitoring & + +# 방법 2: nohup으로 실행 (로그아웃해도 유지) +nohup /home/ubuntu/script/monitoring/chocomae-24h-monitoring.sh /home/ubuntu/script/monitoring/chocomae-monitoring > /home/ubuntu/script/monitoring/monitor.log 2>&1 & + +# 실행 확인 +ps aux | grep chocomae-24h-monitoring +``` + +--- + +## 검증 (수정 확인) + +### 1. 로그 파일 확인 + +```bash +cd /home/ubuntu/script/monitoring/chocomae-monitoring + +# 최신 로그 확인 +tail -5 chocomae-$(date +%Y%m%d).log + +# 예상되는 정상 출력: +# 2026-09-21 22:40:30,2.5,185,1,0,0,0,0.8,308,27,18,1,86,1.3,0.00,0.00,7,4,6,2721500,15.2,24.3,2.85,1 +# ^^^ ^^^^ +# Apache CPU가 이제 0이 아님 System CPU가 정상 값 +``` + +### 2. 각 메트릭 확인 + +```bash +# Apache CPU 필드 (두 번째) 확인 +tail -1 chocomae-$(date +%Y%m%d).log | cut -d',' -f2 +# 예: 2.5 (0이 아닌 실제 값) + +# System CPU 필드 (21번째) 확인 +tail -1 chocomae-$(date +%Y%m%d).log | cut -d',' -f21 +# 예: 15.2 (불안정한 값 아님) + +# MariaDB 필드들 확인 +tail -1 chocomae-$(date +%Y%m%d).log | cut -d',' -f9-12 +# 예: 0.8,308,27,18 +``` + +### 3. 실시간 모니터링 + +```bash +# 1초마다 최신 값 보기 +watch -n 1 'tail -1 /home/ubuntu/script/monitoring/chocomae-monitoring/chocomae-$(date +%Y%m%d).log | tr "," "\n" | nl' + +# 또는 간단히 +tail -f chocomae-$(date +%Y%m%d).log +``` + +--- + +## 개선 사항 요약 + +### 이전 (문제) +``` +2026-09-21 22:30:24,0,177,1,0,0,0,0.8,308,27,18,1,86,1.3,0.00,0.00,7,4,6,2719305,100,24.3,2.84,1 + ^Apache CPU=0 ^PHP CPU=0 ^^System CPU=100 (불안정) +``` + +### 이후 (수정) +``` +2026-09-21 22:40:30,2.5,185,1,0,0,0,0.8,308,27,18,1,86,1.3,0.00,0.00,7,4,6,2721500,15.2,24.3,2.85,1 + ^^^Apache CPU=2.5% (정상) ^^^^System CPU=15.2% (정상) +``` + +--- + +## 주요 개선 사항 상세 설명 + +### 1. Apache CPU 수집 개선 + +**이전:** +```bash +local apache_cpu=$(ps aux | grep -E "[a]pache|[h]ttpd" | awk '{sum+=$3} END {print (NR>1 ? sum/(NR-1) : 0)}') +``` + +**개선:** +```bash +local apache_cpu=0 +if command -v pgrep &> /dev/null; then + apache_cpu=$(pgrep -f "apache2|httpd" | xargs ps -o %cpu= 2>/dev/null | awk '{sum+=$1} END {printf "%.2f", sum}') +fi +apache_cpu=${apache_cpu:-0} +``` + +**차이점:** +- `pgrep -f "apache2|httpd"` - 정확한 프로세스명으로 검색 +- `/usr/sbin/apache2` 정확하게 감지 +- 에러 처리 추가 (command not found 방지) + +--- + +### 2. System CPU 파싱 개선 + +**이전:** +```bash +local cpu_usage=$(top -bn1 | grep "Cpu(s)" | awk '{print 100-$8}') +``` + +**개선:** +```bash +local cpu_usage=$(top -bn1 2>/dev/null | grep "Cpu(s)" | awk -F'id' '{print $1}' | awk '{print $NF}' | tr -d ',') +cpu_usage=${cpu_usage:-0} + +# CPU idle 값에서 사용률 계산하는 대체 방법 +if (( $(echo "$cpu_usage == 0" | bc -l) )); then + cpu_usage=$(top -bn1 2>/dev/null | grep "Cpu(s)" | awk -F',' '{print $4}' | awk '{print 100-$1}') + cpu_usage=${cpu_usage:-0} +fi +``` + +**차이점:** +- Ubuntu 24.04의 top 형식 대응: `%Cpu(s): 0.0 us, 4.8 sy, 0.0 ni, 95.2 id, ...` +- 다양한 형식에 대응하는 대체 방법 추가 +- 에러 처리 강화 + +--- + +### 3. Apache/MariaDB 메모리 수집 개선 + +**이전:** +```bash +local apache_mem=$(ps aux | grep -E "[a]pache|[h]ttpd" | awk '{sum+=$6} END {printf "%.0f", (sum>0 ? sum/1024 : 0)}') +``` + +**개선:** +```bash +local apache_mem=$(ps aux | grep -E "(/usr/sbin/apache2|/usr/sbin/httpd)" | grep -v grep | awk '{sum+=$6} END {printf "%.0f", (sum>0 ? sum/1024 : 0)}') +``` + +**차이점:** +- 전체 경로 명시로 정확도 향상 +- `grep -v grep` 추가로 grep 명령 자신이 포함되는 것 방지 + +--- + +### 4. MONITOR_DIR 파라미터화 + +**이전:** +```bash +MONITOR_DIR="/home/ubuntu/chocomae-monitoring" # 고정값 +``` + +**개선:** +```bash +MONITOR_DIR="${1:-/home/ubuntu/script/monitoring/chocomae-monitoring}" # 첫 번째 인자 또는 기본값 +``` + +**사용 방법:** +```bash +# 기본 경로 사용 +./chocomae-24h-monitoring.sh + +# 커스텀 경로 사용 +./chocomae-24h-monitoring.sh /custom/path/to/monitoring +``` + +--- + +## Systemd 서비스로 자동 관리 (선택사항) + +```bash +# 서비스 파일 생성 +sudo tee /etc/systemd/system/chocomae-monitoring.service > /dev/null < 100: + print(f" 1. RDS Aurora / Serverless Aurora 사용 권고") + print(f" - 현재 최대 {max_connections:.0f}개 동시 연결 처리 필요") + print(f" - Connection Pooling (RDS Proxy) 권장") + else: + print(f" 1. ✓ 데이터베이스 연결 규모는 Serverless 적합") + + # 2. 처리량 분석 + if rps > 10: + print(f" 2. AWS Lambda 함수 메모리/타임아웃 최적화") + print(f" - 초당 {rps:.1f}개 요청 처리 필요") + print(f" - 동시 실행 한계 설정 권장") + else: + print(f" 2. ✓ 처리량 규모는 Lambda 기본 설정으로 충분") + + # 3. 메모리 분석 + print(f" 3. Lambda 메모리 할당 제안: {min(3008, max(512, int(total_mem_peak * 1.5)))}MB") + print(f" - 피크 메모리: {total_mem_peak:.0f}MB") + + # 4. API Gateway + ALB 검토 + print(f" 4. API Gateway 스로틀링 설정") + print(f" - 예상 피크 요청 속도: {rps * 5:.0f} 요청/초 (여유도 포함)") + + # 5. 데이터베이스 최적화 + slow_queries = self.extract_numeric(self.df['mariadb_slow_queries']) + if len(slow_queries) > 1: + slow_delta = slow_queries.diff().sum() + if slow_delta > 0: + print(f" 5. ⚠️ Slow Query 최적화 필수") + print(f" - 기간 동안 {slow_delta:.0f}개 Slow Query 발생") + else: + print(f" 5. ✓ Slow Query 이슈 없음") + + # 6. 아키텍처 제안 + print(f"\n🏗️ 추천 아키텍처:") + print(f" • API Gateway → Lambda (PHP/Node.js runtime)") + print(f" • RDS Aurora Serverless (또는 RDS Proxy + MariaDB)") + print(f" • CloudWatch Logs 및 X-Ray 통합") + print(f" • S3 (정적 자산) + CloudFront (CDN)") + print(f" • Auto Scaling: Lambda concurrency {min(1000, int(max_connections * 10))}") + + # ======================================================================== + # 9. 이상 탐지 (Anomaly Detection) + # ======================================================================== + def anomaly_detection(self): + """이상 탐지""" + print("\n" + "="*70) + print("9. 이상 탐지") + print("="*70) + + # CPU 이상치 + cpu_data = self.extract_numeric(self.df['system_cpu_usage_percent']) + cpu_mean = cpu_data.mean() + cpu_std = cpu_data.std() + cpu_threshold = cpu_mean + 2 * cpu_std + cpu_anomalies = self.df[self.extract_numeric(self.df['system_cpu_usage_percent']) > cpu_threshold] + + if len(cpu_anomalies) > 0: + print(f"\n⚠️ CPU 이상치 감지:") + print(f" • 기준값: {cpu_threshold:.1f}% (평균 + 2σ)") + print(f" • 이상치 발생 횟수: {len(cpu_anomalies)}") + print(f" • 최대값: {cpu_data.max():.1f}%") + + # 메모리 이상치 + mem_data = self.extract_numeric(self.df['system_mem_usage_percent']) + mem_anomalies = self.df[mem_data > 90] + + if len(mem_anomalies) > 0: + print(f"\n⚠️ 메모리 부족 감지:") + print(f" • 90% 이상 사용 횟수: {len(mem_anomalies)}") + + # 연결 누수 (MariaDB) + conn_data = self.extract_numeric(self.df['mariadb_conn_current']) + conn_increase = conn_data.diff() + sustained_increase = len(conn_increase[conn_increase > 5]) + + if sustained_increase > 10: + print(f"\n⚠️ 데이터베이스 연결 증가 추세 감지:") + print(f" • 급격한 증가 횟수: {sustained_increase}") + print(f" • 최대값: {conn_data.max():.0f}") + + # Slow Query 증가 + slow_data = self.extract_numeric(self.df['mariadb_slow_queries']) + if len(slow_data) > 1: + slow_delta = slow_data.diff().sum() + if slow_delta > 10: + print(f"\n⚠️ Slow Query 발생 증가:") + print(f" • 기간 동안 발생: {slow_delta:.0f}개") + + if len(cpu_anomalies) == 0 and len(mem_anomalies) == 0 and sustained_increase <= 10: + print("\n✓ 이상 탐지 결과: 정상 범위 내") + + # ======================================================================== + # 메인 분석 실행 + # ======================================================================== + def run_all(self): + """전체 분석 실행""" + self.system_summary() + self.hourly_analysis() + self.daily_analysis() + self.apache_analysis() + self.mariadb_analysis() + self.php_analysis() + self.disk_analysis() + self.anomaly_detection() + self.serverless_recommendations() + + print("\n" + "="*70) + print("분석 완료") + print("="*70 + "\n") + + +def main(): + if len(sys.argv) > 1: + data_dir = sys.argv[1] + else: + data_dir = '/home/ubuntu/chocomae-monitoring' + + if not os.path.isdir(data_dir): + print(f"❌ Error: Directory not found: {data_dir}") + sys.exit(1) + + analyzer = MonitoringAnalyzer(data_dir) + analyzer.run_all() + + +if __name__ == '__main__': + main() diff --git a/doc/obsidian/monitoring-aws-ec2/chocomae-24h-monitoring-fixed.sh b/doc/obsidian/monitoring-aws-ec2/chocomae-24h-monitoring-fixed.sh new file mode 100644 index 0000000..243217d --- /dev/null +++ b/doc/obsidian/monitoring-aws-ec2/chocomae-24h-monitoring-fixed.sh @@ -0,0 +1,235 @@ +#!/bin/bash +################################################################################ +# ChocoMae 24/7 모니터링 스크립트 (수정 버전) +# 목적: 1주일 동안 WEB(Apache), WAS(PHP), DB(MariaDB)의 주요 지표 수집 +# 모니터링 주기: 1분 간격 +# 데이터 저장: CSV 포맷 (일별 파일, 7일 자동 rotation) +# +# 수정 사항: +# - Apache CPU 감지 개선 (/usr/sbin/apache2 정확히 감지) +# - System CPU 파싱 수정 (top 명령 형식 맞춤) +# - PHP-FPM 없어도 안전하게 처리 +# - MONITOR_DIR 환경에 맞춰 설정 +################################################################################ + +# ============================================================================ +# 설정 (필요하면 수정) +# ============================================================================ +MONITOR_DIR="${1:-/home/ubuntu/script/monitoring/chocomae-monitoring}" # 첫 번째 인자 또는 기본값 +LOG_RETENTION_DAYS=7 +INTERVAL=60 # 1분 간격 +TIMESTAMP_FORMAT="%Y-%m-%d %H:%M:%S" + +# ============================================================================ +# 초기 설정 +# ============================================================================ +mkdir -p "$MONITOR_DIR" +cd "$MONITOR_DIR" || exit 1 + +# 로그 파일 이름 (일별) +LOG_FILE="$MONITOR_DIR/chocomae-$(date +%Y%m%d).log" + +# 헤더 작성 (파일이 없으면) +if [[ ! -f "$LOG_FILE" ]]; then + echo "timestamp,apache_cpu,apache_mem,apache_conn_count,php_cpu,php_mem,php_conn_count,mariadb_cpu,mariadb_mem,mariadb_conn_current,mariadb_conn_max,mariadb_threads_running,disk_root_usage_percent,disk_root_free_gb,disk_io_read_mb_s,disk_io_write_mb_s,apache_busy_workers,apache_idle_workers,apache_ka_connections,apache_total_accesses,system_cpu_usage_percent,system_mem_usage_percent,system_mem_free_gb,mariadb_slow_queries" > "$LOG_FILE" +fi + +# ============================================================================ +# 함수: 오래된 로그 파일 삭제 +# ============================================================================ +cleanup_old_logs() { + find "$MONITOR_DIR" -name "chocomae-????????.log" -type f -mtime +$LOG_RETENTION_DAYS -delete 2>/dev/null +} + +# ============================================================================ +# 함수: Apache 메트릭 수집 (수정) +# ============================================================================ +get_apache_metrics() { + local apache_status + apache_status=$(curl -s http://localhost/server-status?auto 2>/dev/null) + + # CPU 사용량 (%) - pgrep으로 apache2 프로세스 정확히 감지 + local apache_cpu=0 + if command -v pgrep &> /dev/null; then + apache_cpu=$(pgrep -f "apache2|httpd" | xargs ps -o %cpu= 2>/dev/null | awk '{sum+=$1} END {printf "%.2f", sum}') + fi + apache_cpu=${apache_cpu:-0} + + # 메모리 사용량 (MB) - ps aux로 수집 + local apache_mem=$(ps aux | grep -E "(/usr/sbin/apache2|/usr/sbin/httpd)" | grep -v grep | awk '{sum+=$6} END {printf "%.0f", (sum>0 ? sum/1024 : 0)}') + apache_mem=${apache_mem:-0} + + # Connection 수 + local apache_conn_count=$(echo "$apache_status" | grep -c "^ConproxiedRequests\|^Total Accesses" || echo "0") + + # Busy/Idle workers, Keep-Alive connections + local busy_workers=$(echo "$apache_status" | awk -F': ' '/^BusyWorkers/{print $2}' || echo "0") + local idle_workers=$(echo "$apache_status" | awk -F': ' '/^IdleWorkers/{print $2}' || echo "0") + + # Scoreboard 분석 (K: keep-alive) + local scoreboard=$(echo "$apache_status" | awk -F': ' '/^Scoreboard/{print $2}') + local ka_connections=$(echo "$scoreboard" | tr -cd 'K' | wc -c) + + # Total Accesses + local total_accesses=$(echo "$apache_status" | awk -F': ' '/^Total Accesses/{print $2}' || echo "0") + + echo "$apache_cpu|$apache_mem|$apache_conn_count|$busy_workers|$idle_workers|$ka_connections|$total_accesses" +} + +# ============================================================================ +# 함수: PHP-FPM 메트릭 수집 +# ============================================================================ +get_php_metrics() { + # CPU 사용량 (%) + local php_cpu=$(pgrep -f "php-fpm" | xargs ps -o %cpu= 2>/dev/null | awk '{sum+=$1} END {printf "%.2f", sum}' 2>/dev/null) + php_cpu=${php_cpu:-0} + + # 메모리 사용량 (MB) + local php_mem=$(ps aux | grep -E "[p]hp-fpm" | awk '{sum+=$6} END {printf "%.0f", (sum>0 ? sum/1024 : 0)}') + php_mem=${php_mem:-0} + + # Process 수 + local php_conn_count=$(pgrep -f "php-fpm" 2>/dev/null | wc -l) + php_conn_count=${php_conn_count:-0} + + echo "$php_cpu|$php_mem|$php_conn_count" +} + +# ============================================================================ +# 함수: MariaDB 메트릭 수집 +# ============================================================================ +get_mariadb_metrics() { + # CPU 사용량 (%) + local mariadb_cpu=$(pgrep -f "mariadbd|mysqld" | xargs ps -o %cpu= 2>/dev/null | awk '{sum+=$1} END {printf "%.2f", sum}' 2>/dev/null) + mariadb_cpu=${mariadb_cpu:-0} + + # 메모리 사용량 (MB) + local mariadb_mem=$(ps aux | grep -E "[m]ariadbd|[m]ysqld" | grep -v grep | awk '{sum+=$6} END {printf "%.0f", (sum>0 ? sum/1024 : 0)}') + mariadb_mem=${mariadb_mem:-0} + + # MariaDB 연결 관련 정보 + local db_info=$(sudo -n /usr/bin/mariadb -N -B -e "SHOW GLOBAL STATUS WHERE Variable_name IN ('Threads_connected','Max_used_connections','Threads_running','Slow_queries')" 2>/dev/null | \ + awk 'NR==1{threads=$2} NR==2{max=$2} NR==3{running=$2} NR==4{slow=$2} END{printf "%s|%s|%s|%s", (threads?threads:"0"), (max?max:"0"), (running?running:"0"), (slow?slow:"0")}') + + echo "$mariadb_cpu|$mariadb_mem|$db_info" +} + +# ============================================================================ +# 함수: DISK 메트릭 수집 +# ============================================================================ +get_disk_metrics() { + # 루트 파티션 사용률 (%) + local disk_usage=$(df -h / | awk 'NR==2 {print $5}' | tr -d '%') + disk_usage=${disk_usage:-0} + + # 루트 파티션 여유 공간 (GB) + local disk_free=$(df -h / | awk 'NR==2 {print $4}' | tr -d 'G' | tr -d 'T') + disk_free=${disk_free:-0} + + # DISK IO (iostat 이용) + local io_stats="0.00|0.00" + if command -v iostat &> /dev/null; then + io_stats=$(iostat -dx 1 2 2>/dev/null | tail -1 | awk '{printf "%.2f|%.2f", $6, $7}' 2>/dev/null) + io_stats=${io_stats:-"0.00|0.00"} + fi + + echo "$disk_usage|$disk_free|$io_stats" +} + +# ============================================================================ +# 함수: 시스템 전체 메트릭 수집 (수정) +# ============================================================================ +get_system_metrics() { + # CPU 사용률 (%) - top 명령 파싱 수정 + # 형식: %Cpu(s): 0.0 us, 4.8 sy, 0.0 ni, 95.2 id, ... + # idle 값을 찾아서 100에서 빼면 사용률 = 100 - idle + local cpu_usage=$(top -bn1 2>/dev/null | grep "Cpu(s)" | awk -F',' '{print $4}' | awk '{printf "%.1f", 100-$1}') + cpu_usage=${cpu_usage:-0} + + # 메모리 사용률 (%) 및 여유 메모리 (GB) + local mem_info=$(free | awk '/^Mem:/ {printf "%.1f|%.2f", ($3/$2)*100, $7/1024/1024}') + mem_info=${mem_info:-"0.0|0.00"} + + echo "$cpu_usage|$mem_info" +} + +# ============================================================================ +# 메인 루프 +# ============================================================================ +main() { + while true; do + # 현재 시간 + local timestamp=$(date +"$TIMESTAMP_FORMAT") + + # 각 메트릭 수집 + local apache_metrics=$(get_apache_metrics) + local php_metrics=$(get_php_metrics) + local mariadb_metrics=$(get_mariadb_metrics) + local disk_metrics=$(get_disk_metrics) + local system_metrics=$(get_system_metrics) + + # IFS를 |로 설정하여 파싱 + IFS='|' read -r apache_cpu apache_mem apache_conn apache_busy apache_idle apache_ka apache_accesses <<< "$apache_metrics" + IFS='|' read -r php_cpu php_mem php_conn <<< "$php_metrics" + IFS='|' read -r mariadb_cpu mariadb_mem mariadb_threads mariadb_max mariadb_running mariadb_slow <<< "$mariadb_metrics" + IFS='|' read -r disk_usage disk_free disk_read disk_write <<< "$disk_metrics" + IFS='|' read -r sys_cpu sys_mem mem_free <<< "$system_metrics" + + # 기본값 설정 (빈 값이면 0) + apache_cpu=${apache_cpu:-0} + apache_mem=${apache_mem:-0} + apache_conn=${apache_conn:-0} + php_cpu=${php_cpu:-0} + php_mem=${php_mem:-0} + php_conn=${php_conn:-0} + mariadb_cpu=${mariadb_cpu:-0} + mariadb_mem=${mariadb_mem:-0} + mariadb_threads=${mariadb_threads:-0} + mariadb_max=${mariadb_max:-0} + mariadb_running=${mariadb_running:-0} + mariadb_slow=${mariadb_slow:-0} + disk_usage=${disk_usage:-0} + disk_free=${disk_free:-0} + disk_read=${disk_read:-0} + disk_write=${disk_write:-0} + apache_busy=${apache_busy:-0} + apache_idle=${apache_idle:-0} + apache_ka=${apache_ka:-0} + apache_accesses=${apache_accesses:-0} + sys_cpu=${sys_cpu:-0} + sys_mem=${sys_mem:-0} + mem_free=${mem_free:-0} + + # CSV 형식으로 로그 기록 + echo "$timestamp,$apache_cpu,$apache_mem,$apache_conn,$php_cpu,$php_mem,$php_conn,$mariadb_cpu,$mariadb_mem,$mariadb_threads,$mariadb_max,$mariadb_running,$disk_usage,$disk_free,$disk_read,$disk_write,$apache_busy,$apache_idle,$apache_ka,$apache_accesses,$sys_cpu,$sys_mem,$mem_free,$mariadb_slow" >> "$LOG_FILE" + + # 오래된 로그 정리 (1시간마다) + if (( $(date +%M) == 0 )); then + cleanup_old_logs + fi + + # 다음 날짜로 넘어가면 새 로그 파일 생성 + local new_log_file="$MONITOR_DIR/chocomae-$(date +%Y%m%d).log" + if [[ "$new_log_file" != "$LOG_FILE" ]]; then + LOG_FILE="$new_log_file" + echo "timestamp,apache_cpu,apache_mem,apache_conn_count,php_cpu,php_mem,php_conn_count,mariadb_cpu,mariadb_mem,mariadb_conn_current,mariadb_conn_max,mariadb_threads_running,disk_root_usage_percent,disk_root_free_gb,disk_io_read_mb_s,disk_io_write_mb_s,apache_busy_workers,apache_idle_workers,apache_ka_connections,apache_total_accesses,system_cpu_usage_percent,system_mem_usage_percent,system_mem_free_gb,mariadb_slow_queries" > "$LOG_FILE" + fi + + # 대기 + sleep $INTERVAL + done +} + +# ============================================================================ +# 스크립트 시작 +# ============================================================================ +echo "[$(date +'%Y-%m-%d %H:%M:%S')] ChocoMae 24/7 모니터링 시작" +echo "모니터링 주기: ${INTERVAL}초" +echo "데이터 저장 위치: $MONITOR_DIR" +echo "데이터 보관 기간: ${LOG_RETENTION_DAYS}일" +echo "" +echo "실시간 로그 확인:" +echo " tail -f $MONITOR_DIR/chocomae-\$(date +%Y%m%d).log" +echo "" + +main diff --git a/doc/obsidian/monitoring-aws-ec2/chocomae-24h-monitoring.sh b/doc/obsidian/monitoring-aws-ec2/chocomae-24h-monitoring.sh new file mode 100644 index 0000000..bbb8497 --- /dev/null +++ b/doc/obsidian/monitoring-aws-ec2/chocomae-24h-monitoring.sh @@ -0,0 +1,216 @@ +#!/bin/bash +################################################################################ +# ChocoMae 24/7 모니터링 스크립트 +# 목적: 1주일 동안 WEB(Apache), WAS(PHP), DB(MariaDB)의 주요 지표 수집 +# 모니터링 주기: 1분 간격 +# 데이터 저장: CSV 포맷 (일별 파일, 7일 자동 rotation) +# 설치: crontab -e에 추가 +# 0 0 * * * /path/to/chocomae-24h-monitoring.sh (또는 시작 명령어로 직접 실행) +################################################################################ + +# ============================================================================ +# 설정 +# ============================================================================ +MONITOR_DIR="/home/ubuntu/chocomae-monitoring" +LOG_RETENTION_DAYS=7 +INTERVAL=60 # 1분 간격 +TIMESTAMP_FORMAT="%Y-%m-%d %H:%M:%S" + +# 프로세스 이름 +APACHE_PROCESS="apache2" +PHP_PROCESS="php-fpm" +MARIADB_PROCESS="mariadb" + +# ============================================================================ +# 초기 설정 +# ============================================================================ +mkdir -p "$MONITOR_DIR" +cd "$MONITOR_DIR" || exit 1 + +# 로그 파일 이름 (일별) +LOG_FILE="$MONITOR_DIR/chocomae-$(date +%Y%m%d).log" + +# 헤더 작성 (파일이 없으면) +if [[ ! -f "$LOG_FILE" ]]; then + echo "timestamp,apache_cpu,apache_mem,apache_conn_count,php_cpu,php_mem,php_conn_count,mariadb_cpu,mariadb_mem,mariadb_conn_current,mariadb_conn_max,mariadb_threads_running,disk_root_usage_percent,disk_root_free_gb,disk_io_read_mb_s,disk_io_write_mb_s,apache_busy_workers,apache_idle_workers,apache_ka_connections,apache_total_accesses,system_cpu_usage_percent,system_mem_usage_percent,system_mem_free_gb,mariadb_slow_queries" > "$LOG_FILE" +fi + +# ============================================================================ +# 함수: 오래된 로그 파일 삭제 +# ============================================================================ +cleanup_old_logs() { + find "$MONITOR_DIR" -name "chocomae-????????.log" -type f -mtime +$LOG_RETENTION_DAYS -delete 2>/dev/null +} + +# ============================================================================ +# 함수: Apache 메트릭 수집 +# ============================================================================ +get_apache_metrics() { + local apache_status + apache_status=$(curl -s http://localhost/server-status?auto 2>/dev/null) + + # CPU 사용량 (%) + local apache_cpu=$(ps aux | grep -E "[a]pache|[h]ttpd" | awk '{sum+=$3} END {print (NR>1 ? sum/(NR-1) : 0)}') + + # 메모리 사용량 (MB) + local apache_mem=$(ps aux | grep -E "[a]pache|[h]ttpd" | awk '{sum+=$6} END {printf "%.0f", (sum>0 ? sum/1024 : 0)}') + + # Connection 수 + local apache_conn_count=$(echo "$apache_status" | grep -c "^ConproxiedRequests\|^Total Accesses" || echo "0") + + # Busy/Idle workers, Keep-Alive connections + local busy_workers=$(echo "$apache_status" | awk -F': ' '/^BusyWorkers/{print $2}' || echo "0") + local idle_workers=$(echo "$apache_status" | awk -F': ' '/^IdleWorkers/{print $2}' || echo "0") + + # Scoreboard 분석 (K: keep-alive) + local scoreboard=$(echo "$apache_status" | awk -F': ' '/^Scoreboard/{print $2}') + local ka_connections=$(echo "$scoreboard" | tr -cd 'K' | wc -c) + + # Total Accesses + local total_accesses=$(echo "$apache_status" | awk -F': ' '/^Total Accesses/{print $2}' || echo "0") + + echo "$apache_cpu|$apache_mem|$apache_conn_count|$busy_workers|$idle_workers|$ka_connections|$total_accesses" +} + +# ============================================================================ +# 함수: PHP-FPM 메트릭 수집 +# ============================================================================ +get_php_metrics() { + # CPU 사용량 (%) + local php_cpu=$(ps aux | grep -E "[p]hp-fpm" | awk '{sum+=$3} END {print (NR>1 ? sum/(NR-1) : 0)}') + + # 메모리 사용량 (MB) + local php_mem=$(ps aux | grep -E "[p]hp-fpm" | awk '{sum+=$6} END {printf "%.0f", (sum>0 ? sum/1024 : 0)}') + + # Connection 수 (PHP 프로세스 수) + local php_conn_count=$(ps aux | grep -c "[p]hp-fpm" || echo "0") + + echo "$php_cpu|$php_mem|$php_conn_count" +} + +# ============================================================================ +# 함수: MariaDB 메트릭 수집 +# ============================================================================ +get_mariadb_metrics() { + # CPU 사용량 (%) + local mariadb_cpu=$(ps aux | grep -E "[m]ariadb|[m]ysqld" | grep -v grep | awk '{sum+=$3} END {print (NR>0 ? sum : 0)}') + + # 메모리 사용량 (MB) + local mariadb_mem=$(ps aux | grep -E "[m]ariadb|[m]ysqld" | grep -v grep | awk '{sum+=$6} END {printf "%.0f", (sum>0 ? sum/1024 : 0)}') + + # MariaDB 연결 관련 정보 + local db_info=$(sudo -n /usr/bin/mariadb -N -B -e "SHOW GLOBAL STATUS WHERE Variable_name IN ('Threads_connected','Max_used_connections','Threads_running','Slow_queries')" 2>/dev/null | \ + awk 'NR==1{threads=$2} NR==2{max=$2} NR==3{running=$2} NR==4{slow=$2} END{printf "%s|%s|%s|%s", (threads?threads:"0"), (max?max:"0"), (running?running:"0"), (slow?slow:"0")}') + + echo "$mariadb_cpu|$mariadb_mem|$db_info" +} + +# ============================================================================ +# 함수: DISK 메트릭 수집 +# ============================================================================ +get_disk_metrics() { + # 루트 파티션 사용률 (%) + local disk_usage=$(df -h / | awk 'NR==2 {print $5}' | tr -d '%') + + # 루트 파티션 여유 공간 (GB) + local disk_free=$(df -h / | awk 'NR==2 {print $4}' | tr -d 'G') + + # DISK IO (iostat 이용, 대략값) + # 주의: iostat이 없으면 설치 필요 (apt-get install sysstat) + local io_stats=$(iostat -dx 1 2 2>/dev/null | tail -1 | awk '{printf "%.2f|%.2f", $6, $7}') + if [[ -z "$io_stats" ]]; then + io_stats="0.00|0.00" + fi + + echo "$disk_usage|$disk_free|$io_stats" +} + +# ============================================================================ +# 함수: 시스템 전체 메트릭 수집 +# ============================================================================ +get_system_metrics() { + # CPU 사용률 (%) + local cpu_usage=$(top -bn1 | grep "Cpu(s)" | awk '{print 100-$8}') + + # 메모리 사용률 (%) + local mem_info=$(free | awk '/^Mem:/ {printf "%.1f|%.2f", ($3/$2)*100, $7/1024/1024}') + + echo "$cpu_usage|$mem_info" +} + +# ============================================================================ +# 메인 루프 +# ============================================================================ +main() { + while true; do + # 현재 시간 + local timestamp=$(date +"$TIMESTAMP_FORMAT") + + # 각 메트릭 수집 + local apache_metrics=$(get_apache_metrics) + local php_metrics=$(get_php_metrics) + local mariadb_metrics=$(get_mariadb_metrics) + local disk_metrics=$(get_disk_metrics) + local system_metrics=$(get_system_metrics) + + # IFS를 |로 설정하여 파싱 + IFS='|' read -r apache_cpu apache_mem apache_conn apache_busy apache_idle apache_ka apache_accesses <<< "$apache_metrics" + IFS='|' read -r php_cpu php_mem php_conn <<< "$php_metrics" + IFS='|' read -r mariadb_cpu mariadb_mem mariadb_threads mariadb_max mariadb_running mariadb_slow <<< "$mariadb_metrics" + IFS='|' read -r disk_usage disk_free disk_read disk_write <<< "$disk_metrics" + IFS='|' read -r sys_cpu sys_mem mem_free <<< "$system_metrics" + + # 기본값 설정 + apache_cpu=${apache_cpu:-0} + apache_mem=${apache_mem:-0} + apache_conn=${apache_conn:-0} + php_cpu=${php_cpu:-0} + php_mem=${php_mem:-0} + php_conn=${php_conn:-0} + mariadb_cpu=${mariadb_cpu:-0} + mariadb_mem=${mariadb_mem:-0} + mariadb_threads=${mariadb_threads:-0} + mariadb_max=${mariadb_max:-0} + mariadb_running=${mariadb_running:-0} + mariadb_slow=${mariadb_slow:-0} + disk_usage=${disk_usage:-0} + disk_free=${disk_free:-0} + disk_read=${disk_read:-0} + disk_write=${disk_write:-0} + apache_busy=${apache_busy:-0} + apache_idle=${apache_idle:-0} + apache_ka=${apache_ka:-0} + apache_accesses=${apache_accesses:-0} + sys_cpu=${sys_cpu:-0} + sys_mem=${sys_mem:-0} + mem_free=${mem_free:-0} + + # CSV 형식으로 로그 기록 + echo "$timestamp,$apache_cpu,$apache_mem,$apache_conn,$php_cpu,$php_mem,$php_conn,$mariadb_cpu,$mariadb_mem,$mariadb_threads,$mariadb_max,$mariadb_running,$disk_usage,$disk_free,$disk_read,$disk_write,$apache_busy,$apache_idle,$apache_ka,$apache_accesses,$sys_cpu,$sys_mem,$mem_free,$mariadb_slow" >> "$LOG_FILE" + + # 오래된 로그 정리 (1시간마다) + if (( $(date +%M) == 0 )); then + cleanup_old_logs + fi + + # 다음 날짜로 넘어가면 새 로그 파일 생성 + local new_log_file="$MONITOR_DIR/chocomae-$(date +%Y%m%d).log" + if [[ "$new_log_file" != "$LOG_FILE" ]]; then + LOG_FILE="$new_log_file" + echo "timestamp,apache_cpu,apache_mem,apache_conn_count,php_cpu,php_mem,php_conn_count,mariadb_cpu,mariadb_mem,mariadb_conn_current,mariadb_conn_max,mariadb_threads_running,disk_root_usage_percent,disk_root_free_gb,disk_io_read_mb_s,disk_io_write_mb_s,apache_busy_workers,apache_idle_workers,apache_ka_connections,apache_total_accesses,system_cpu_usage_percent,system_mem_usage_percent,system_mem_free_gb,mariadb_slow_queries" > "$LOG_FILE" + fi + + # 대기 + sleep $INTERVAL + done +} + +# ============================================================================ +# 스크립트 시작 +# ============================================================================ +echo "[$(date +'%Y-%m-%d %H:%M:%S')] ChocoMae 24/7 모니터링 시작" +echo "모니터링 주기: ${INTERVAL}초" +echo "데이터 저장 위치: $MONITOR_DIR" +echo "데이터 보관 기간: ${LOG_RETENTION_DAYS}일" + +main