Yuugi blog

[Podman] Telegraf 설치

Yuugi — Sun, 5 Jul 2026 22:26:55 +0900

▣ Telegraf 핵심 내용

1. 역할

데이터를 수집, 처리, 집계하여 원하는 저장소로 전송하는 범용 서버 에이전트
주로 시계열 데이터 저장소인 InfluxDB와 짝을 이루어 사용되지만, 구조가 매우 유연하여 다양한 환경에서 데이터 파이프라인의 시작점으로 활용

2. 핵심 특징

구분	상세내용
데이터 수집 방식	Push/Pull 양방향 지원 (에이전트를 통한 Push 또는 API를 통한 직접 쓰기)
데이터 연동	Telegraf 에이전트 활용 (CPU, 네트워크, Docker, SNMP, MySQL 등 200개 이상의 Input 플러그인 제공)
쿼리 언어	InfluxQL (SQL 유사 문법) 및 Flux (데이터 처리에 강력한 함수형 언어, v2 이상)
데이터 생명주기	Retention Policy를 통해 보존 기간 및 샤딩을 세밀하게 제어 가능 (장기 보존 효율 극대화)
성능 강점	고밀도 쓰기 최적화 (IoT, 센서 데이터 등 고빈도 이벤트 수집에 특화)

3. 활용 범위

장기 데이터 보존 : 시계열 데이터의 장기 기록 및 분석이 필요한 환경
서버 자원 모니터링 : 리눅스/윈도우 서버의 시스템 자원, 네트워크 트래픽하드웨어 상태를 측정하여 저장
IoT 데이터 수집 : 센서로부터 들어오는 데이터를 받아 중앙 서버로 전달
데이터 파이프라인 : 서로 다른 포맷의 데이터를 수집하여 표준화한 후 메시지 큐(Kafka 등)로 전송

4. Telegraf 데이터 흐름도

▣ Telegraf 설치 방법

1. 디렉토리 구조 및 권한 설정

[root@localhost ~]# mkdir -p /APP/monitoring/telegraf/compose

[root@localhost ~]# mkdir -p /APP/monitoring/telegraf/config

[root@localhost ~]# mkdir -p /APP/monitoring/telegraf/log

[root@localhost ~]# semanage fcontext -a -t container_file_t "/APP/monitoring/telegraf(/.*)?"

[root@localhost ~]# restorecon -Rv /APP/monitoring/telegraf

[root@localhost ~]# chown -R root:root /APP/monitoring/telegraf

[root@localhost ~]# chmod -R 755 /APP/monitoring/telegraf

2. podman-compose.yml 환경 변수 설정(.env)

[root@localhost ~]# vi /APP/monitoring/telegraf/compose/.env

# Telegraf 컨테이너 이미지 태그
TELEGRAF_VERSION=latest
# 시간대 설정
TZ=Asia/Seoul
# InfluxDB 접속 주소
INFLUXDB_URL=http://localhostip:8086
# 인증을 위한 API 토큰
INFLUXDB_TOKEN=TOKEN 값 입력
# InfluxDB 조직 명
INFLUXDB_ORG=조직명 입력
# 데이터를 저장할 버킷 명
INFLUXDB_BUCKET=BUCKET명 입력

3. podman-compose.yml 구성

[root@localhost ~]# vi /APP/monitoring/telegraf/compose/podman-compose.yml

services:
  telegraf:
    image: docker.io/library/telegraf:${TELEGRAF_VERSION}
    container_name: telegraf
    restart: always
    env_file:
      - .env
    # 컨테이너 실행 시 사용할 설정 파일 및 모드 지정
    command: ["telegraf", "--config", "/etc/telegraf/telegraf.conf", "--non-strict-env-handling"]
    security_opt:
      - label=disable # 컨테이너 보안 격리 수준 조정
    cap_add:
      - SYS_ADMIN     # 시스템 정보 수집을 위한 권한 추가
      - NET_RAW       # 네트워크 패킷 분석용
      - NET_ADMIN     # 네트워크 인터페이스 설정용
    environment:
      - TZ=${TZ}
    volumes:
- ../compose/telegraf.conf:/etc/telegraf/telegraf.conf:ro # 설정 파일 마운트 (읽기 전용)
      - ../log:/var/log/telegraf                               # 로그 저장 경로 마운트
      - /proc:/host/proc:ro                                    # 호스트 CPU/메모리 모니터링용
      - /sys:/host/sys:ro                                      # 호스트 하드웨어 통계용
    deploy:
      resources:
        limits:
          cpus: '0.5'    # 최대 CPU 사용량 50% 제한
          memory: 512M   # 최대 메모리 사용량 512MB 제한

4. telegraf 환경 설정(.conf)

[root@localhost ~]# vi /APP/monitoring/telegraf/compose/telegraf.conf

[global_tags]
ip = "IP주소입력"
host = "host 입력"

# Configuration for telegraf agent

[agent]

interval = "10s"

round_interval = true

metric_batch_size = 1000

metric_buffer_limit = 10000

collection_jitter = "0s"

flush_interval = "10s"

flush_jitter = "0s"

precision = "0s"
hostname = "host명 입력"

#################################################################################

# OUTPUT PLUGINS

#################################################################################

# # Configuration for sending metrics to InfluxDB 2.x

[[outputs.influxdb_v2]]

urls = ["${INFLUXDB_URL}"]

token = "${INFLUXDB_TOKEN}"

organization = "${INFLUXDB_ORG}"

bucket = "${INFLUXDB_BUCKET}"

#################################################################################

# INPUT PLUGINS

#################################################################################

# Read metrics about cpu usage

[[inputs.cpu]]

percpu = true

totalcpu = true

collect_cpu_time = false

report_active = false

core_tags = false

# Read metrics about disk usage by mount point

[[inputs.disk]]

ignore_fs = ["tmpfs", "devtmpfs", "devfs", "iso9660", "overlay", "aufs", "squashfs"]

# Read metrics about memory usage

[[inputs.mem]]

[[inputs.processes]]

[[inputs.swap]]

# Read metrics about system load & uptime

[[inputs.system]]

# # Gather metrics about network interfaces

[[inputs.net]]

# # Read TCP metrics such as established, time wait and sockets counts.

[[inputs.netstat]]

# # Read TCP metrics such as established, time wait and sockets counts.

[[inputs.netstat]]

5. telegraf 서비스 유닛 파일 생성

[root@localhost ~]# vi /etc/systemd/system/telegraf.service

[Unit]

Description=telegraf Podman Compose Service

After=network-online.target podman.service

Wants=network-online.target

[Service]

Type=oneshot

RemainAfterExit=yes

WorkingDirectory=/APP/monitoring/telegraf/compose

ExecStart=/usr/bin/podman-compose -p telegraf_stack up -d

ExecStop=/usr/bin/podman-compose -p telegraf_stack down

TimeoutStartSec=3min

[Install]

WantedBy=multi-user.target

6. Telegraf 서비스를 Systemd 등록 및 시작 설정

[root@localhost ~]# systemctl enable telegraf.service

[root@localhost ~]# systemctl start telegraf.service

7. Influxdb Web 접속 후 설정 적용한 Bucket 클릭 시 아래와 같이 나타나면 정상

[Podman] Influxdb 설치

Yuugi — Sat, 4 Jul 2026 06:41:50 +0900

▣ InfluxDB 핵심 내용

1. 역할 : 고성능 시계열 전용 데이터베이스

2. 핵심 특징

역할	상세 내용
Push/Pull 양방향	Telegraf 에이전트가 각 수집처에서 Push, 또는 직접 API로 쓰기
Telegraf	200+ input 플러그인 (CPU, 네트워크, Docker, SNMP, MySQL 등)
쿼리 언어	InfluxQL(SQL 유사) 또는 Flux(함수형, v2 이상)
Retention Policy	데이터 보존 기간/샤딩을 세밀하게 제어 (장기 보존에 유리)
고밀도 쓰기 최적화	IoT, 센서, 고빈도 이벤트 수집에 강점

3. 활용 범위

장기 보존이 필요한 시계열 데이터, IoT/센서, 고빈도 지표 수집

4. InfluxDB 데이터 흐름도

▣ InfluxDB 설치 방법

1. 디렉토리 구조 및 권한 설정

[root@localhost ~]# mkdir -p /APP/monitoring/influxdb/{compose,log,data,config}

[root@localhost ~]# semanage fcontext -a -t container_file_t "/APP/monitoring/influxdb(/.*)?"

[root@localhost ~]# restorecon -Rv /APP/monitoring/influxdb

[root@localhost ~]# chown -R 1000:1000 /APP/monitoring/influxdb

2. 환경 변수 설정(.env)

[root@localhost ~]# vi /APP/monitoring/influxdb/compose/.env

INFLUXDB_VERSION=2.7

INFLUXDB_PORT=8086

TZ=Asia/Seoul

3. podman-compose.yml 구성

[root@localhost ~]# vi /APP/monitoring/influxdb/compose/podman-compose.yml

version: '3.8'

services:

influxdb:

image: docker.io/library/influxdb:${INFLUXDB_VERSION}

container_name: influxdb

restart: always

ports:

- "${INFLUXDB_PORT}:8086"

environment:

- TZ=${TZ}

volumes:

- /APP/monitoring/influxdb/data:/var/lib/influxdb2

- /APP/monitoring/influxdb/config:/etc/influxdb2

deploy:

resources:

limits:

cpus: '2.0'

memory: 4G

4. influxdb 서비스 유닛 파일 생성

[root@localhost ~]# vi /etc/systemd/system/influxdb.service

[Unit]

Description=influxdb Podman Compose Service

After=network-online.target podman.service

Wants=network-online.target

[Service]

Type=oneshot

RemainAfterExit=yes

WorkingDirectory=/APP/monitoring/influxdb/compose

ExecStart=/usr/bin/podman-compose -p influxdb_stack up -d

ExecStop=/usr/bin/podman-compose -p influxdb_stack down

TimeoutStartSec=3min

[Install]

WantedBy=multi-user.target

5. Influxdb 서비스를 Systemd 등록 및 시작 설정

[root@localhost ~]# systemctl enable influxdb.service

[root@localhost ~]# systemctl start influxdb.service

6. WEB UI 접속 : http://localhost_IP:8090

7. Influxdb 설정 방법

GET STARRED 버튼 클릭

Setup Initial User 정보 입력 후 하단 CONTINUS 버튼 클리

생성 된 Bucket 복사하여 저장 후 QUICK START 클릭

influxdb 접속 화면

8. Influxdb Bucket 생성 방법

Buckets 클릭

CREATE BUCKET 클릭

생성 할 BUCKET명을 입력 후 CRATE 버튼 클릭

새로 생성 된 BUCKET 확인

[Podman] Node Exporter 설치

Yuugi — Sat, 4 Jul 2026 05:47:14 +0900

▣ Node Exporter 핵심 내용

1. 역할 : 리눅스/유닉스 계열 호스트 시스템의 하드웨어 및 OS 메트릭 수집기

2. 핵심 특징

역할	상세 내용
화이트박스 모니터링(Whitebox Monitoring)	서버 내부에 에이전트로 설치되어 시스템 내부 고유 메트릭(인사이드 아웃)을 상세히 측정
풍부한 OS 메트릭 컬렉터	CPU 사용량, 메모리 잔여량, 디스크 I/O 속도, 네트워크 트래픽 상태, 파일 시스템 가득 참 여부 등을 기본 수집
가볍고 독립적인 구조	Go 언어로 작성되어 별도의 의존성(Dependency) 없이 단일 바이너리로 실행되며, 시스템 리소스를 극도로 적게 소모
텍스트 형식 엔드포인트	수집한 원시 데이터를 Prometheus가 읽어갈 수 있도록 http://<서버IP>:9100/metrics 주소로 표준 텍스트 포맷 제공

3. 활용 범위

물리 서버, 가상 머신(VM), 클라우드 인스턴스(EC2 등)의 자체 리소스 사용량과 운영체제 건강 상태를 실시간으로 모니터링하고 싶을 때

4. Node Exporter 데이터 흐름도

▣ Node Exporter 설치 방법

1. 디렉토리 구조 및 권한 설정

[root@localhost ~]# mkdir -p /APP/monitoring/node_exporter/{compose,config,data,log}

[root@localhost ~]# chown -R 1000:1000 /APP/monitoring/node_exporter

[root@localhost ~]# chmod -R 750 /APP/monitoring/node_exporter

[root@localhost ~]# chcon -Rt svirt_sandbox_file_t /APP/monitoring/node_exporter

2. 환경 변수 파일 (.env) 생성

[root@localhost ~]# vi /APP/monitoring/node_exporter/compose/.env

NODE_EXPORTER_VERSION=v1.8.2

HOST_PORT=9100

CONTAINER_NAME=node-exporter

3. Podman-compose.yml 작성

[root@localhost ~]# vi /APP/monitoring/node_exporter/compose/podman-compose.yml

version: '3.8'

services:

node-exporter:

image: quay.io/prometheus/node-exporter:${NODE_EXPORTER_VERSION}

container_name: ${CONTAINER_NAME}

restart: unless-stopped

ports:

- "${HOST_PORT}:9100"

command:

- '--path.procfs=/host/proc'

- '--path.sysfs=/host/sys'

- '--path.rootfs=/host/root'

volumes:

- /proc:/host/proc:ro

- /sys:/host/sys:ro

- /:/host/root:ro,rslave

security_opt:

- label=type:container_runtime_t

4. Node Exporter 서비스 유닛 파일 생성

[root@localhost ~]# vi /etc/systemd/system/node_exporter.service

[Unit]

Description=Node Exporter Podman Compose Service

After=network-online.target podman.service

Wants=network-online.target

[Service]

Type=oneshot

RemainAfterExit=yes

WorkingDirectory=/APP/monitoring/node_exporter/compose

ExecStart=/usr/bin/podman-compose -p nodeexporter_stack up -d

ExecStop=/usr/bin/podman-compose -p nodeexporter_stack down

TimeoutStartSec=3min

[Install]

WantedBy=multi-user.target

5. Node Exporter 서비스를 Systemd 등록 및 시작 설정

[root@localhost ~]# systemctl enable node_exporter.service

[root@localhost ~]# systemctl start node_exporter.service

6. Node Exporter WEB UI 접속 : http://localhostip:9100

7. Node Expoter Metrics UI 확인 : http://localhostip:9100/metrics

▣ Node Exporter metrics 추출 자료 활용 방법

1. Node Exporter에서 수집한 메트릭스를 victoriametrics 또는 Prometheus로 Push 하는 방법

적용 파일명 : victoriametrics : vmagent.yml / prometheus : prometheus.yml 아래 내역 추가
YAML 아래 내역 추가

# Node Exporter 메트릭 수집

- job_name: 'Node Exporter'

static_configs:

- targets: ['0.0.0.0:9100'] #localhostup 입력

labels:

hostname: 'hostname' #hostname 입력

# targets Port번호 제거

relabel_configs:

- source_labels: ['__address__']

regex: '(.*):(.*)'

replacement: '${1}'

target_label: 'instance'

YAML 추가 내역 적용 방법

# vmagent 재구동

[root@localhost ~]# podman restart vmagent

# prometheus 재구동

[root@localhost ~]# podman restart prometheus

2. victoriametrics에서 node exporter metris 내역 확인 방법

VMUI 접속 → Explore → Explore Prometheus Metrics

Job 목록에서 node_exporter 선택 / Metrics에 node_ 를 입력하면 아래와 그림과 같이 확인 가능

3. prometheus에서 node exporter metris 내역 확인 방법

Query에서 적색 표기 부분에 node_ 를 입력하면 위 적색 표기 내역과 같이 확인 가능

▣ Grafana Node Exporter Dashboard 구성

1. 오른쪽 상단 New dashboard 클릭

2. Custom grid → Panel '+' 클릭

3. Title 명칭 입력 → Configure visaualization 버튼 클릭

4. All visualizations 클릭 → Table 클릭

5. Node Exporter 점검 항목 메트릭스(PromQL) 내역

점검 항목	메트릭(PromQL)	임계치	확인 필요 사항
OS 확인	node_os_version		OS 및 버전 확인
Host Uptime 확인	(time() - node_boot_time_seconds) / 86400		Host 가동 시간 확인
NW 단절 확인	node_network_carrier	'0' 값 단절	케이블 또는 인터페이스 설정 확인
CPU 사용률	*100 - (avg by(instance) (irate(node_cpu_seconds_total{mode="idle"}[5m])) 100)**	주의 : 70% ~ 80% 경고 : 85% ~ 90% 위험 : 95% 이상	프로세스 점유율 확인
Memory 사용률	*(1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) 100**	주의 : 70% ~ 80% 경고 : 85% ~ 90% 위험 : 95% 이상	메모리 점유율 확인
Disk 사용률	*(1 - (node_filesystem_free_bytes{fstype=~"ext4\|xfs"} / node_filesystem_size_bytes{fstype=~"ext4\|xfs"})) 100**	주의 : 70% ~ 80% 경고 : 85% ~ 90% 위험 : 95% 이상	디스크 사용률 점유율 확인

6. Grafana 패널 설정 방법

7. Transformations 설정 방법

오늘쪽 상단 Save 클릭

8. Node Exporter Dashboard

[Podman] VictoriaMetrics 설치

Yuugi — Sat, 4 Jul 2026 05:42:05 +0900

▣ VictoriaMetrics 핵심 내용

1. 역할

VictoriaMetrics는 고성능 시계열 데이터베이스(TSDB)
모니터링 시스템의 핵심 저장소 및 쿼리 엔진
단순히 데이터를 저장하는 것을 넘어, 대규모 환경에서 Prometheus의 한계를 극복하기 위해 설계

역할	도구	상세 내용
데이터 수집	vmagent	타겟(서버, 애플리케이션 등)에서 메트릭을 수집하여 VictoriaMetrics로 전달
데이터 저장/조회	Victoria Metrics	수집된 데이터를 저장하고, 쿼리(PromQL)에 응답
알림 관리	vmalert	설정된 룰을 바탕으로 메트릭을 평가하고 알림을 발생

2. 핵심 특징

역할	상세 내용
고성능 및 확장성	단일 노드 실행 시에도 리소스 효율이 매우 높으며(낮은 CPU/RAM 사용량), 클러스터 모드로 전환하면 수평적으로 무한히 확장 가능
Prometheus 호환성	Prometheus와 완벽하게 호환되는 API를 제공합니다. 기존에 구축된 Grafana 대시보드나 PromQL 쿼리를 그대로 사용
데이터 효율성	압축 알고리즘이 뛰어나며, 장기 보관(Long-term retention)을 고려한 설계

3. 활용 범위

Prometheus뿐만 아니라 OpenTelemetry, InfluxDB, Graphite, Datadog 등 다양한 프로토콜을 통한 데이터 입력을 지원

4. VictoriaMetricd와 Prometheus 비교

역할	VictoriaMetrics	Prometheus
아키텍처	클러스터 및 단일 노드 지원 (고확장성)	단일 노드 중심 (확장성 제한)
데이터 저장	고도로 최적화된 압축 스토리지	로컬 스토리지 (기본)
확장성	기본적으로 수평적 확장 지원	수동적 (Thanos, Cortex 등 필요)
메모리 사용	매우 효율적인 RAM 사용 (저사양 권장)	대규모 데이터 시 높은 RAM 소모
쿼리 언어	PromQL (대부분 호환 + 확장 기능)	PromQL (완벽 호환)
데이터 수집	Pull 방식 (Prometheus 설정 재사용 가능)	Pull 방식
운영 복잡도	상대적으로 낮음 (단일 바이너리)	상대적으로 높음 (확장 시)

5. VictoriaMetrics 데이터 흐름도

▣ VictoriaMetrics 설치 방법

1. 디렉토리 구조 생성 및 권한 설정

[root@localhost ~]# mkdir -p /APP/monitoring/victoriametrics/alertmanager/data

[root@localhost ~]# mkdir -p /APP/monitoring/victoriametrics/compose

[root@localhost ~]# mkdir -p /APP/monitoring/victoriametrics/data

[root@localhost ~]# mkdir -p /APP/monitoring/victoriametrics/vmagent/config

[root@localhost ~]# chmod 644 /APP/monitoring/victoriametrics/alertmanager/alertmanager.yml

[root@localhost ~]# chmod -R 755 /APP/monitoring/victoriametrics

[root@localhost ~]# restorecon -Rv /APP/monitoring/victoriametrics

2. 환경 변수 설정

[root@localhost ~]# vi /APP/monitoring/victoriametrics/compose/.env

VM_IP=0.0.0.0 # Host IP 입력

VM_PORT=9070

VMA_PORT=9077

AM_PORT=9093

# 데이터 보존 기간

VM_RETENTION_PERIOD=30d

# 컨테이너 데이터 루트 경로

BASE_PATH=/APP/monitoring/victoriametrics

3. Podman Compose 파일 구성

[root@localhost ~]# vi /APP/monitoring/victoriametrics/compose/podman-compose.yml

version: '3.8'

services:

victoriametrics:

image: docker.io/victoriametrics/victoria-metrics:latest

container_name: victoriametrics

ports:

- "${VM_IP}:${VM_PORT}:8428"

volumes:

- ${BASE_PATH}/data:/storage:z

command:

- "-storageDataPath=/storage"

- "-retentionPeriod=${VM_RETENTION_PERIOD}"

- "-search.maxQueryDuration=30s"

- "-search.maxUniqueTimeseries=1000000"

restart: always

environment:

- TZ=Asia/Seoul

vmagent:

image: docker.io/victoriametrics/vmagent:latest

container_name: vmagent

ports:

- "${VMA_PORT}:8429"

volumes:

- ${BASE_PATH}/vmagent/config:/etc/vmagent:ro,z

command:

- "-promscrape.config=/etc/vmagent/vmagent.yml"

- "-promscrape.config.strictParse=false"

- "-remoteWrite.url=http://victoriametrics:8428/api/v1/write"

restart: always

alertmanager:

image: docker.io/prom/alertmanager:latest

container_name: alertmanager

ports:

- "${AM_PORT}:9093"

volumes:

# 호스트의 파일을 컨테이너 내부의 /etc/alertmanager/alertmanager.yml로 마운트

- ${BASE_PATH}/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml:ro,z

- ${BASE_PATH}/alertmanager/data:/alertmanager:z

command:

- "--config.file=/etc/alertmanager/alertmanager.yml"

- "--storage.path=/alertmanager"

restart: always

4. vmagent YAML 설정 파일

[root@localhost ~]# vi /APP/monitoring/victoriametrics/vmagent/config/vmagent.yml

global:

scrape_interval: 15s

scrape_timeout: 10s

evaluation_interval: 15s

# Alertmanager configuration

alerting:

alertmanagers:

- static_configs:

- targets:

# - alertmanager:9093 # alertmanager 적용 시 주석처리 "#" 제거

scrape_configs:

# 1. VictoriaMetrics 자체 메트릭 수집

- job_name: 'victoriametrics'

static_configs:

- targets: ['victoriametrics:8428']

labels:

application: 'Victoriametrics'

# 2. vmagent 자기 자신의 메트릭 수집

- job_name: 'vmagent'

static_configs:

- targets: ['localhost:8429']

labels:

application: 'Vmagent'

5. Alertmanager YMAL 설정 파일

[root@localhost ~]# vi /APP/monitoring/victoriametrics/alertmanager/alertmanager.yml

global:

resolve_timeout: 5m

route:

group_by: ['alertname', 'severity']

group_wait: 30s

group_interval: 5m

repeat_interval: 1h # 동일 알람 반복 주기

receiver: 'slack-notifications'

receivers:

- name: 'slack-notifications'

slack_configs:

- api_url: 'https://hooks.slack.com/services/YOUR/WEBHOOK/URL'

channel: '#monitoring-alerts'

send_resolved: true

6. Victoriametrics 서비스 유닛 파일 생성

[root@localhost ~]# vi /etc/systemd/system/victoriametrics.service

[Unit]

Description=Victoriametrics Podman Compose Service

After=network-online.target podman.service

Wants=network-online.target

[Service]

Type=oneshot

RemainAfterExit=yes

WorkingDirectory=/APP/monitoring/victoriametrics/compose

ExecStart=/usr/bin/podman-compose -p victoriametrics_stack up -d

ExecStop=/usr/bin/podman-compose -p victoriametrics_stack down

TimeoutStartSec=3min

[Install]

WantedBy=multi-user.target

7. Victoriametrics 서비스를 Systemd 등록 및 시작 설정

[root@localhost ~]# systemctl enable victoriametrics.service

[root@localhost ~]# systemctl start victoriametrics.service

8. Victoriametrics Web UI 접속 : httpL//localhost_IP:9070/ymui

AI 활용

9. Victoriametrics WEB Metrics 확인 : http://localhost_IP:9070/metrics

10. Alertmanager WEB 접속 : http://localhost_IP:9095

▣ Grafana Data source 연동 방법

1. Grafana WEB 접속 → Connections → Data sources → Add data source 클릭

2. Add data source → Prometheus 클릭

Prometheus Data Source는 Prometheus 및 victoriametrics 적용 가능

3. Name : 적용 대상명 입력 / Prometheus server URL : http://localhost_IP:PORT 입력

Save & test 버튼 클릭 하여 아래 내역과 같이 Successfully queried the Prometheus API. 나타나면 정상 적용

4. Data sources를 클릭하면 아래와 같이 적용 내역 확인 가능

[Podman] Prometheus 설치

Yuugi — Sat, 4 Jul 2026 05:35:50 +0900

▣ Prometheus 핵심 내용

1. 역할 : 오픈소스 모니터링 및 경고(Alerting) 시스템이며, 그라파나와 함께 사용하여 시각화하는 경우가 많으며, 메트릭(Metric) 수집 최적화

2. 핵심 특징

역할	상세 내용
시계열 데이터 관리	시간 순서대로 변화하는 데이터를 저장하며, 고유한 메트릭 이름과 라벨(Label) 로 데이터를 구분
Pull 방식	서버가 주기적으로 /metrics 엔드포인트를 스크래핑. Exporter(node_exporter, blackbox, snmp 등)로 수집 대상 확장
내장 TSDB	데이터를 별도 DB 없이 로컬에 저장 (기본 15일 보존)
PromQL	강력한 시계열 쿼리 언어 (rate(), increase(), histogram_quantile() 등)
Alertmanager	조건 기반 알림 → Slack, Email, PagerDuty 등으로 라우팅
Kubernetes 친화적	Service Discovery, Pod annotation 자동 감지

3. 활용 범위

인프라/컨테이너/애플리케이션 메트릭 수집, 짧은 보존 주기의 운영 모니터링

4. Prometheus 데이터 흐름도

▣ Prometheus 설치 방법

1. 디렉토리 구조 및 권한 설정

[root@localhost ~]# mkdir -p /APP/monitoring/prometheus/compose

[root@localhost ~]# mkdir -p /APP/monitoring/prometheus/config

[root@localhost ~]# mkdir -p /APP/monitoring/prometheus/data

[root@localhost ~]# mkdir -p /APP/monitoring/prometheus/logs

[root@localhost ~]# chown -R 65534:65534 /APP/monitoring/prometheus/data

[root@localhost ~]# chown -R 65534:65534 /APP/monitoring/prometheus/config

2. 환경 변수 설정 (.env)

[root@localhost ~]# vi /APP/monitoring/prometheus/compose/.env

PROMETHEUS_VERSION=latest

HTTP_PORT=9073

DATA_RETENTION=15d

PROMETHEUS_IP=0.0.0.0 #locahostip 입력

3. podman-compose.yml 작성

[root@localhost ~]# vi /APP/monitoring/prometheus/compose/podman-compose.yml

version: '3.8'

services:

prometheus:

image: docker.io/prom/prometheus:${PROMETHEUS_VERSION}

container_name: prometheus

restart: always

ports:

- "${PROMETHEUS_IP}:${HTTP_PORT}:9090"

volumes:

- ../config:/etc/prometheus:z

- ../data:/prometheus:z

command:

- '--config.file=/etc/prometheus/prometheus.yml'

- '--storage.tsdb.path=/prometheus'

- '--storage.tsdb.retention.time=${DATA_RETENTION}'

- '--web.console.libraries=/usr/share/prometheus/console_libraries'

- '--web.console.templates=/usr/share/prometheus/consoles'

4. Prometheus YAML 설정

[root@localhost ~]# vi /APP/monitoring/prometheus/config/prometheus.yml

global:

scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.

evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.

# scrape_timeout is set to the global default (10s).

# Alertmanager configuration

alerting:

alertmanagers:

- static_configs:

- targets:

# - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.

rule_files:

# - "first_rules.yml"

# - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:

# Here it's Prometheus itself.

scrape_configs:

# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.

- job_name: "prometheus"

static_configs:

- targets: ["0.0.0.0:9073"] #localhostip 입력.

labels:

application: 'Prometheus'

5. Prometheus 서비스 유닛 파일 생성

[root@localhost ~]# vi /etc/systemd/system/prometheus.service

[Unit]

Description=Prometheus Podman Compose Service

After=network-online.target podman.service

Wants=network-online.target

[Service]

Type=oneshot

RemainAfterExit=yes

WorkingDirectory=/APP/monitoring/prometheus/compose

ExecStart=/usr/bin/podman-compose -p prometheus_stack up -d

ExecStop=/usr/bin/podman-compose -p prometheus_stack down

TimeoutStartSec=3min

[Install]

WantedBy=multi-user.target

6. Prometheus 서비스를 Systemd 등록 및 시작 설정

[root@localhost ~]# systemctl enable prometheus.service

[root@localhost ~]# systemctl start prometheus.service

7. Prometheus WEB UI 접속 : http://localhost_IP:9073

8. Prometheus Metrics UI 확인 : http://localhost_IP:9073/metrics

[Podman] Grafana 설치

Yuugi — Sat, 4 Jul 2026 05:32:37 +0900

▣ Grafana 핵심 내용

1. 역할 : 데이터 시각화, 모니터링, 분석을 위한 오픈소스 플랫폼으로서, IT 인프라와 애플리케이션의 상태를 한눈에 파악할 수 있도록 돕는 대시보드 솔루션

2. 핵심 특징

역할	상세 내용
멀티 데이터소스	Prometheus, InfluxDB, Loki, MySQL, Elasticsearch 등 동시 연결
패널 타입	Time series, Gauge, Stat, Heatmap, Geomap, Table 등 다양
Alert Rules	데이터소스 쿼리 기반 알림 조건 설정 + Notification Channel 라우팅
Loki	로그 수집/쿼리 (LogQL), Prometheus와 동일한 레이블 체계
Tempo	분산 트레이싱 연동 (Traces)
플러그인	커뮤니티/상용 패널·데이터소스 플러그인 수백 개
강력한 알람 기능	특정 데이터 임계치를 넘거나 문제가 발생했을 때 Slack, 이메일, PagerDuty 등으로 즉시 알림을 보냄

3. 활용 범위

서버/인프라 모니터링 : CPU 사용량, 메모리, 네트워크 트래픽 등 실시간 모니터링
애플리케이션 성능 추적 : API 응답 속도, 에러 발생률 추적
비즈니스 메트릭 : 특정 서비스의 사용자 접속 수, 매출 변화 등 실시간 통계

4. Grafana 데이터 흐름도

▣ Grafana Mimir 핵심 내용

1. 역할 : 방대한 규모의 Prometheus 메트릭을 장기 보관하고, 초고속 쿼리 성능을 제공하기 위해 설계된 멀티 테넌트(Multi-tenant) 분산 시계열 데이터베이스

2. 핵심 특징

역할	상세 내용
무한한 확장성	메트릭 수집(Ingester), 쿼리 실행(Querier), 데이터 저장(Store-gateway) 등 각 구성 요소를 독립적으로 확장할 수 있어 수십억 개의 시계열 데이터를 안정적으로 처리 가능
비용 효율적인 스토리지	메트릭 데이터를 S3, GCS 등의 객체 저장소에 분산 저장하여 로컬 디스크 대비 운영 비용을 획기적으로 절감
완벽한 Prometheus 호환	Prometheus와 100% 호환되는 PromQL을 지원하여, 기존에 구축된 대시보드나 Alertmanager 설정을 수정 없이 그대로 사용
강력한 멀티 테넌시(Multi-tenancy)	단일 클러스터 내에서 여러 팀이나 프로젝트별로 데이터를 완전히 격리하여 관리할 수 있으며, 서비스 제공자(SaaS) 환경에 최적화
고가용성 보장	데이터 복제(Replication) 기능을 통해 특정 노드에 장애가 발생해도 데이터 유실 없이 지속적인 모니터링

3. 활용 범위

Prometheus 단일 노드나 Thanos만으로는 메트릭 처리 용량이나 쿼리 속도에 한계를 느낄 때
수백, 수천 개의 마이크로서비스에서 쏟아져 나오는 메트릭을 통합 관리해야 할 때
조직 내 여러 팀이 하나의 모니터링 인프라를 공유하면서 데이터 보안 및 격리가 필요할 때

▣ Loki 핵심 내용

1. 역할 : 로그 수집, 저장, 쿼리를 위한 클라우드 네이티브 로그 집계 시스템

2. 핵심 특징

역할	상세 내용
고효율/저비용 인덱싱	로그 전체 본문을 인덱싱하지 않고, Prometheus와 동일한 구조의 레이블(Label)만 인덱싱하여 스토리지 비용과 메모리 사용량을 극적으로 절감
LogQL 지원	Prometheus의 PromQL과 매우 유사한 문법을 사용하여 메트릭과 로그를 넘나드는 일관된 쿼리 경험 제공
Grafana 생태계 완벽 통합	Grafana 대시보드에서 메트릭(Prometheus) 그래프의 특정 시점을 클릭하면, 그 시간에 발생한 로그(Loki)로 즉시 전환되는 상호 연동성
오브젝트 스토리지 활용	AWS S3, Google Cloud Storage 등 저렴한 클라우드 스토리지를 메인 저장소로 사용할 수 있어 대용량 장기 보존에 유리

3. 활용 범위

Prometheus와 함께 마이크로서비스/Kubernetes 환경을 구축할 때, 비용 효율적이고 가벼운 중앙 집중형 로그 시스템이 필요할 때

▣ Grafana Tempo 핵심 내용

1. 역할 : 분산 환경에서 발생하는 분산 트레이싱(Distributed Tracing) 데이터를 대규모로 저장하고, 고속으로 검색 및 조회할 수 있도록 설계된 클라우드 네이티브 백엔드 스토리지

2. 핵심 특징

역할	상세 내용
비용 효율적인 오브젝트 스토리지 활용	S3, GCS, Azure Blob Storage 등 비용이 저렴한 객체 저장소를 사용하여 방대한 양의 트레이스 데이터를 경제적으로 보관
고성능 대규모 처리	인덱싱을 최소화하고 데이터 파티셔닝 전략을 사용하여, 수십억 개의 트레이스 데이터 속에서도 필요한 정보를 즉각적으로 추출할 수 있는 압도적인 읽기 성능을 제공
완벽한 텔레메트리 연동 (Correlation)	트레이스 ID를 활용하여 Grafana 대시보드 내에서 메트릭, 로그, 트레이스를 하나의 맥락(Context)으로 연결(예: 특정 오류 로그를 클릭하여 해당 트레이스 바로 확인)
OpenTelemetry 표준 준수	OTLP(OpenTelemetry Protocol)를 기본적으로 지원하여, 별도의 변환 작업 없이 최신 오픈소스 트레이싱 생태계와 즉시 통합 가능
운영 간소화	복잡한 데이터베이스 클러스터 관리 없이 설정이 간편하며, Grafana Cloud 및 OSS 환경 모두에서 확장성 있는 추적 시스템을 구축

3. 활용 범위

마이크로서비스 아키텍처(MSA)에서 서비스 간 호출 관계를 시각화하고 병목 구간을 빠르게 찾아내야 할 때
기존의 고비용 트레이싱 솔루션(Elasticsearch 기반 등)에서 벗어나 저렴한 비용으로 대규모 데이터를 장기 보관하고 싶을 때
메트릭, 로그와 트레이스를 긴밀하게 연결하여 통합 가시성(Observability)을 극대화하고자 할 때

▣ Grafana Alloy 핵심 내용

1. 역할 : 메트릭, 로그, 트레이스, 프로파일 등 텔레메트리 데이터를 모두 수집하고, 전달하는 통합 차세대 에이전트

2. 핵심 특징

역할	상세 내용
OpenTelemetry(OTel) 완벽 호환	OTel Collector 표준 사양을 완벽히 지원하며, Prometheus 및 기존 Grafana 생태계 파이프라인과도 100% 호환
컴포넌트 기반 구성	수집(Discovery), 처리(Processing), 전송(Exporting) 단계를 컴포넌트 단위로 모듈화하여 복잡한 데이터 파이프라인을 유연하게 설계 가능
선언형 설정 언어 (Alloy Language)	기존 복잡한 YAML 대신, 가시성이 높고 동적 변경이 용이한 선언형 설정 문법을 도입하여 대규모 에이전트 관리가 수월
멀티 시그널 처리	하나의 에이전트 프로세스만으로 CPU/메모리 메트릭, 애플리케이션 로그, 분산 트레이스 데이터를 동시에 수집 및 라우팅 가능

3. 활용 범위

분산되어 있던 다양한 수집 에이전트(Promtail, Telegraf 등)를 하나로 통합하고, 오픈소스 표준(OTel) 기반의 모니터링 파이프라인을 구축하고 싶을 때

▣ Grafana 설치 방법

1. 디렉토리 구조 및 권한 설정

[root@localhost ~]# mkdir -p /APP/monitoring/alloy/config

[root@localhost ~]# mkdir -p /APP/monitoring/compose

[root@localhost ~]# mkdir -p /APP/monitoring/grafana/{data,log}

[root@localhost ~]# mkdir -p /APP/monitoring/loki/{config,data}

[root@localhost ~]# mkdir -p /APP/monitoring/mimir/{config,data}

[root@localhost ~]# mkdir -p /APP/monitoring/tempo/{config,data}

[root@localhost ~]# mkdir -p /APP/monitoring/tempo/data/blocks

[root@localhost ~]# mkdir -p /APP/monitoring/tempo/data/wal

[root@localhost ~]# touch /APP/monitoring/alloy/config/config.alloy

[root@localhost ~]# touch /APP/monitoring/loki/config/loki-config.yaml

[root@localhost ~]# touch /APP/monitoring/mimir/config/mimir.yaml

[root@localhost ~]# touch /APP/monitoring/tempo/config/tempo.yaml

[root@localhost ~]# chmod -R 777 /APP/monitoring/grafana/data

[root@localhost ~]# chmod -R 777 /APP/monitoring/grafana/log

[root@localhost ~]# chmod -R 777 /APP/monitoring/tempo/data

[root@localhost ~]# chown -R 1000:1000 /APP/monitoring/grafana

[root@localhost ~]# chown -R 1000:1000 /APP/monitoring/grafana/data /APP/monitoring/grafana/log

[root@localhost ~]# chown -R 10001:10001 /APP/monitoring/loki /APP/monitoring/tempo

[root@localhost ~]# chown -R 10001:10001 /APP/monitoring/loki/data

[root@localhost ~]# chown -R 10001:10001 /APP/monitoring/mimir /APP/monitoring/loki /APP/monitoring/tempo /APP/monitoring/alloy

[root@localhost ~]# chown -R 10001:10001 /APP/monitoring/tempo

[root@localhost ~]# chown -R 10001:10001 /APP/monitoring/tempo/config/tempo.yaml

[root@localhost ~]# chown -R 10001:10001 /APP/monitoring/tempo/data

[root@localhost ~]# chcon -Rt svirt_sandbox_file_t /APP/monitoring/tempo

[root@localhost ~]# chcon -Rt svirt_sandbox_file_t /APP/monitoring/grafana

[root@localhost ~]# chcon -Rt svirt_sandbox_file_t /APP/monitoring

2. 환경 변수 파일 설정

[root@localhost ~]# vi /APP/monitoring/compose/.env

MONITORING_ROOT=/APP/monitoring

GRAFANA_PORT=3000

MIMIR_PORT=9009

LOKI_PORT=3100

TEMPO_PORT=3200

ALLOY_PORT=12345

TZ=Asia/Seoul

3. Podman Compose 파일 작성

[root@localhost ~]# vi /APP/monitoring/compose/podman-compose.yml

services:

# 1. Grafana

grafana:

image: docker.io/grafana/grafana-oss:latest

user: "0:0"

container_name: grafana

ports:

- "${GRAFANA_PORT}:3000"

volumes:

- ${MONITORING_ROOT}/grafana/data:/var/lib/grafana:Z

- ${MONITORING_ROOT}/grafana/log:/var/log/grafana:Z

environment:

- TZ=${TZ}

restart: always

# 2. Mimir (메트릭 저장소)

mimir:

image: docker.io/grafana/mimir:latest

container_name: mimir

ports:

- "${MIMIR_PORT}:9009"

volumes:

- ${MONITORING_ROOT}/mimir/config/mimir.yaml:/etc/mimir/mimir.yaml:z

- ${MONITORING_ROOT}/mimir/data:/data:Z

command: -config.file=/etc/mimir/mimir.yaml

restart: always

# 3. Loki (로그 집계)

loki:

image: docker.io/grafana/loki:latest

container_name: loki

ports:

- "${LOKI_PORT}:3100"

volumes:

- ${MONITORING_ROOT}/loki/config/loki-config.yaml:/etc/loki/loki-config.yaml:z

- ${MONITORING_ROOT}/loki/data:/loki:Z

command: -config.file=/etc/loki/loki-config.yaml

restart: always

# 4. Tempo (트레이싱)

tempo:

image: docker.io/grafana/tempo:latest

container_name: tempo

ports:

- "${TEMPO_PORT}:3200"

volumes:

- ${MONITORING_ROOT}/tempo/config/tempo.yaml:/etc/tempo/tempo.yaml:z

- ${MONITORING_ROOT}/tempo/data:/var/tempo:Z

command: -config.file=/etc/tempo/tempo.yaml

restart: always

# 5. Alloy (텔레메트리 에이전트)

alloy:

image: docker.io/grafana/alloy:latest

container_name: alloy

ports:

- "${ALLOY_PORT}:12345"

volumes:

- ${MONITORING_ROOT}/alloy/config/config.alloy:/etc/alloy/config.alloy:z

- /var/log:/var/log:ro,rslave

command: run --server.http.listen-addr=0.0.0.0:12345 /etc/alloy/config.alloy

restart: always

4. Mimir YMAL 설정

[root@localhost ~]# vi /APP/monitoring/mimir/config/mimir.yaml

multitenancy_enabled: false # 단일 테넌트 모드 (다중 사용 시 true)

blocks_storage:

backend: filesystem # 대규모 운영 시 's3', 'gcs' 등으로 변경 권장

filesystem:

dir: /data/mimir/blocks

compactor:

data_dir: /data/mimir/compactor

sharding_ring:

kvstore:

store: memberlist

5. loki config 설정

[root@localhost ~]# vi /APP/monitoring/loki/config/loki-config.yaml

# 대규모 로그 집계 엔진 설정

auth_enabled: false

server:

http_listen_port: 3100

grpc_listen_port: 9095

common:

path_prefix: /loki

replication_factor: 1

ring:

instance_addr: 127.0.0.1

kvstore:

store: inmemory

schema_config:

configs:

- from: 2024-01-01

store: tsdb

object_store: filesystem

schema: v13

index:

prefix: index_

period: 24h

storage_config:

filesystem:

directory: /loki/chunks

limits_config:

reject_old_samples: true

reject_old_samples_max_age: 168h

6. Tempo YAML 설정

[root@localhost ~]# vi /APP/monitoring/tempo/config/tempo.yaml

# Tempo Single Binary Configuration

server:

http_listen_port: 3200

distributor:

receivers:

otlp:

protocols:

grpc:

http:

storage:

trace:

backend: local

local:

path: /var/tempo/blocks

wal:

path: /var/tempo/wal

memberlist:

abort_if_cluster_join_fails: false

join_members:

- 127.0.0.1

7. Alloy config 설정

[root@localhost ~]# vi /APP/monitoring/alloy/config/config.alloy

// 로컬 메트릭 수집

prometheus.remote_write "mimir" {

endpoint {

url = "http://mimir:9009/api/v1/push"

}

// 로컬 로그 수집

loki.write "loki" {

endpoint {

url = "http://loki:3100/loki/api/v1/push"

}

// 수집 파이프라인

local.file_match "system_logs" {

path_targets = [{__path__ = "/var/log/messages"}]

}

loki.source.file "syslog" {

targets = local.file_match.system_logs.targets

forward_to = [loki.write.loki.receiver]

}

8. Grafana 서비스 유닛 파일 생성

[root@localhost ~]# vi /etc/systemd/system/grafana.service

[Unit]

Description=Grafana Container Service via Podman

After=network-online.target

Requires=podman.socket

[Service]

Type=oneshot

RemainAfterExit=yes

WorkingDirectory=/APP/monitoring/compose

ExecStart=/usr/bin/podman-compose -p grafana_stack up -d

ExecStop=/usr/bin/podman-compose -p grafana_stack down

TimeoutStartSec=5min

[Install]

WantedBy=multi-user.target

9. Grafana 서비스를 Systemd 등록 및 시작 설정

[root@localhost ~]# systemctl enable grafana.service

[root@localhost ~]# systemctl start grafana.service

10. WEB UI 접속 : http://localhost_IP:3000

Email or username : admin, Password : admin 입력

암호 변경

정상 접속 화면