기본 콘텐츠로 건너뛰기

아이로스 인공지능

이 블로그는 도쿄에서 생활하는 개발자가 일본 생활, 일본어 학습, AI 개발 도구 사용 경험을 직접 정리하는 개인 블로그입니다.

이 블로그 검색

홈

4월, 2026의 게시물 표시

글

Featured Post

vLLM - 추론서빙: 처리량 200% 향상을 위한 실무 최적화 전략

작성자: Iros 6월 30, 2026

공유 링크 만들기
Facebook
X
Pinterest
이메일
기타 앱

이시가키 섬 여행 완벽 가이드｜항공권·숙소·렌터카·섬 투어까지 처음 가도 실패 없는 꿀팁

작성자: Iros 4월 30, 2026

+

공유 링크 만들기
Facebook
X
Pinterest
이메일
기타 앱

도쿄 근교 당일치기 여행 1순위, 에도 감성 그득한 가와고에 완벽 코스

작성자: Iros 4월 29, 2026

+

공유 링크 만들기
Facebook
X
Pinterest
이메일
기타 앱

Iros

프로필로 이동

IT / AI

AI132

일본생활

사케1
일본생활 TIP7

여행

일본여행7
한국여행6

Archive

6월 202658
5월 202697
4월 20262

페이지

개인정보처리방침
면책문구
문의

Translate

신고하기

Popular Posts

vLLM - 추론서빙: 처리량 200% 향상을 위한 실무 최적화 전략

대규모 언어 모델 운영에서 효율적인 vLLM - 추론서빙 설계는 GPU 비용과 응답 속도를 좌우하는 핵심 요소입니다. 이 글은 PagedAttention 원리, 배포 구조, OOM 방지 설정, 프롬프트 최적화까지 실무 기준으로 정리합니다. vLLM - 추론서빙 기술의 핵심 원리와 도입 효과 대규모 언어 모델을 실제 서비스에 배포할 때 가장 큰 제약은 높은 GPU 메모리 사용량과 느린 추론 속도입니다. 기존 HuggingFace Transformers 기반의 단순 서빙 방식은 입력 길이와 요청 패턴이 유동적인 환경에서 메모리 단편화와 배치 처리 비효율이 발생하기 쉽습니다. 특히 Key-Value 캐시가 연속적인 메모리 공간을 요구하면 짧은 입력과 긴 입력이 혼재되는 실서비스 트래픽에서 GPU 자원이 충분히 활용되지 못합니다. vLLM은 이러한 문제를 해결하기 위해 PagedAttention 메커니즘을 적용합니다. PagedAttention은 운영체제의 가상 메모리 관리 방식에서 착안한 구조로, KV 캐시를 고정된 연속 공간이 아니라 페이지 단위로 나누어 관리합니다. 이 방식은 메모리 낭비를 크게 줄이고, 남는 GPU 메모리에 더 많은 요청을 동적으로 배치할 수 있게 합니다. 그 결과 단일 GPU 또는 멀티 GPU 환경에서 초당 토큰 처리량이 기존 방식 대비 최소 2배에서 최대 4배 이상 향상될 수 있습니다. 평가 항목 기존 HuggingFace 서빙 vLLM 기반 추론서빙 메모리 관리 방식 정적 할당으로 단편화가 발생합니다. PagedAttention 기반 동적 페이지 할당을 사용합니다. 메모리 낭비율 평균 60%~80% 수준의 낭비가 발생할 수 있습니다. 4% 미만 수준으로 최소화할 수 있습니다. 처리량 기준 성능을 1x로 봅니다...

AI 바이브 코딩, MCP 도구 연결만 잘해도 진짜 일이 빨라지더라

요즘 개발자들끼리 이야기하다 보면 바이브 코딩 이라는 말을 꽤 자주 듣게 되죠. 저도 처음엔 살짝 웃었어요. 아니 코딩에 무슨 바이브야, 싶었거든요. 그런데 막상 AI이랑 대화하면서 코드를 짜다 보니까… 아, 이 말이 그냥 장난은 아니구나 싶더라고요. 예전에는 개발자가 손으로 코드를 한 줄 한 줄 쌓아 올리는 느낌이었다면, 요즘은 조금 달라졌어요. 내가 만들고 싶은 방향을 설명하고, AI이 초안을 만들고, 나는 그걸 읽어보고 고치고, 다시 시키고. 뭐랄까, 운전대를 완전히 넘기는 건 아닌데 조수석에 꽤 똑똑한 동료를 태우고 같이 가는 느낌이랄까요. 그런데 여기서 차이가 확 나는 지점이 있어요. 그냥 “이 코드 짜줘”라고 말하는 정도에서 멈추느냐, 아니면 AI이 내 개발 환경 안에 있는 도구들까지 직접 다룰 수 있게 해주느냐. 이 차이가 생각보다 큽니다. 그리고 그 연결고리 역할을 해주는 게 바로 MCP , 그러니까 모델 콘텍스트 프로토콜이에요. 오늘은 이 MCP 도구 연결 이 왜 AI 바이브 코딩 에서 꽤 중요한 기술이 되었는지, 그리고 제가 직접 써보면서 느낀 현실적인 팁들을 좀 편하게 풀어볼게요. 전문 강의처럼 딱딱하게 말하기보다는, 그냥 회사 점심시간에 커피 들고 “야 이거 한번 해봐, 꽤 괜찮더라” 하고 말하는 느낌으로요. MCP가 뭔데 이렇게 자꾸 이야기 나오는 걸까 처음에 MCP라는 말을 들었을 때, 솔직히 제 반응은 좀 시큰둥했어요. 또 무슨 새로운 규격이 나왔나, 또 배워야 하나… 이런 생각부터 들더라고요. 40대 직장인 개발자 입장에서는 새로운 기술이 반갑기도 하지만, 한편으론 피곤하기도 하잖아요. 회사 일도 많고, 회의도 많고, 집에 가면 또 쉬어야 하고요. 그런데 MCP는 막상 들여다보니까 생각보다 개념이 어렵지 않았어요. 아주 쉽게 말하면, AI이 우리 컴퓨터나 개발 환경에 있는 도구들을 사용할 수 있게 해주는 연결 규칙 같은 거예요. 파일을 읽고, 데이터베이스 구조를 확인하고, 깃 상태를 보고, 필요한 경우에는 명...

n8n - AI 워크플로우: 2026년 반복 업무 70% 줄이는 설계법과 실전 체크리스트

n8n - AI 워크플로우 는 이메일, 문서, CRM, 생성형 AI를 하나의 자동화 흐름으로 묶어 반복 작업을 줄이는 실무형 접근법입니다. 이 글은 도입 전 설계 기준, 노드 구성, 오류 대응, 프롬프트 운영 팁을 함께 정리합니다. n8n - AI 워크플로우가 실무 자동화에 강한 이유 n8n은 단순한 자동화 도구가 아니라 API, 데이터베이스, SaaS, LLM을 시각적 노드로 연결하는 오케스트레이션 도구에 가깝습니다. 특히 n8n - AI 워크플로우 는 사용자가 직접 조건 분기, 재시도, 승인 단계, 로그 저장 구조를 설계할 수 있어 업무 자동화의 신뢰성을 높입니다. Zapier나 Make가 빠른 연결성에 강하다면 n8n은 복잡한 내부 프로세스와 자체 서버 운영에 유리합니다. 고객 문의 요약, 리드 점수화, 회의록 정리, 콘텐츠 초안 생성처럼 반복성과 판단이 섞인 업무에서 효과가 큽니다. 기본 개념은 이전에 다룬 n8n 업무 자동화 AI로 반복 업무를 줄이는 가장 현실적인 방법 도 함께 참고하면 이해가 빠릅니다. 구분 적합한 사용 사례 주의점 기본 자동화 이메일 알림, 시트 업데이트, 파일 이동 예외 처리가 부족하면 중복 실행 위험이 있습니다. AI 워크플로우 요약, 분류, 초안 작성, 데이터 추출 프롬프트 품질과 검증 노드가 성능을 좌우합니다. 운영형 자동화 CRM 갱신, 고객 응대, 리포트 생성 로그, 권한, 비용 한도 설정이 필수입니다. 실전 구성: 폴더 구조와 핵심 설정 예시 개발팀이나 운영팀이 n8n을 장기적으로 사용하려면 워크플로우를 화면에서만 관리하지 말고 환경 변수, 백업, 테스트 데이터를 함께 관리해야 합니다. 자체 호스팅 환경에서는 Docker 기반 구성이 가장 현실적입니다. 아래 구...

Powered by Blogger