[AI-SW툴] 미드 저니 Midjourney를 활용한 교육 영상 만들기(feat.'락 롱 꾸언과 어우 꺼 이야기')

 호치민시한국국제학교 내 좋은 점은 다양한 연구회(전문적 학습공동체)가 선생님들의 자발성에 의해 만들어진다는 것이다. 아래로부터의 의지로 만들어진 이런 연구회들은 연구의 질 또한 올라갈 수밖에 없다.  AI 교육 관련해 관심을 가진 선생님들의 자발성에 의해 '생성형 AI 활용 교육연구회'가 만들어졌다.
 
<생성형 AI>
 생성형 AI라는 말부터 생소했다. 생성형 AI란 단순히 데이터를 분석하거나 패턴을 인식하는 영역을 넘어서, 사용자의 입력에 따른 새로운 콘텐츠를 창조해 내는 것을 말한다. 그 영역은 텍스트 생성, 코드 생성, 이미지 생성, 음성 합성, 비디오 등 다양한다.
 
<미드 저니(Midjourney)를 활용한 SGDs 연계 동화책 만들기>
 미드 저니(Midjourney)는 이미지 생성용 생성형 AI이다. 연구회에서는 이 미드 저니를 활용하되, 요즘 지속 가능한 교육 트렌드를 반영하여 SGDs 주제들은 담은 동화책을 1년간 제작하기로 했다. 미드 저니가 생소한 선생님들을 위해 이 툴을 연구하고 계신 선생님께서 직접 교내 연수도 진행해 주셨다. 자세한 활용 방법은 선생님께서 본인 블로그에도 자세하게 설명을 남겨주셨으니 참고할 수 있다.
https://blog.naver.com/choinssam/223353830350

미드저니 마스터하기: 초보자를 위한 완벽 가이드 #1

 
 내 동화책을 직접 만들기 전 마침 베트남의 '흥 부엉 추모 기념일'이 있어 교육 자료를 찾던 중 이 추모 기념일과 관련된 설화인 '락 롱 꾸언과 어우 꺼 이야기'를 먼저 제작해 보기로 했다.

---

<추천하는 제작 순서>
1. 스토리보드(장면, 캐릭터, 대사) 만들기
2. 그림체 정하기
3. 미드 저니로 캐릭터 만들기(캐릭터 완성)
4. 장면 만들고 캐릭터 입히기(장면 완성)
5. 대사를 녹음하기(음성 완성)
6. 장면과 음성을 이용해 영상 만들기
 
 
<1.스토리보드 만들기>
첫 영상 제작이기 때문에 이야기 전개상 꼭 필요한 장면만 넣기로 했고 10페이지 정도로 제작하려고 생각했다.

 

---

 
<2. 그림체 정하기>
 그림체를 먼저 정해야겠다는 생각을 하기 전에 다양한 시행착오를 겪었다.
1) 이미 마음에 드는 그림을 뽑아냈는데 그림체만 마음에 안 든 적이 있었다. 이럴 때 그림체만 바꾸는 기능이 미드 저니에 없어서 다시 작업해야 했다.
2) 저학년 교육용으로 영상 제작을 하고 싶어서 '지브리 그림체'로 그림체를 정하려고 했는데, 이야기가 설화 이야기이기도 하고 락 롱 꾸언과 어우 꺼가 사랑에 빠지는 내용 같은건 지브리 그림체와 뭔가 어울리지 않는 느낌이었다.
3) 공식 홈페이지에서 그림체 예시를 살펴보고 'Child's Drawing' 그림체로 강도를 조절해서 사용하려고 했는데 내가 프롬프트를 잘못 쓴 것인지 내용만 조금 바꾼 프롬프트인데도 결과물이 완전히 달라졌다.

공식 홈페이지의 Child's Drawing of Cat 예시&amp;amp;amp;amp;amp;amp;nbsp; https://docs.midjourney.com/docs/stylize-1

내가 Child's Drawing을 활용해 만든 두 종류의 그림 결과물

 이러한 이유들 때문에 그림체를 정하는 게 먼저인 것 같다.
 
https://docs.midjourney.com/docs/stylize-1

Midjourney Stylize Parameter

 
 미드 저니에서 적용해볼 수 있는 다양한 그림체는 공식 홈페이지에 설명되어 있다. 그림체의 반영 강도, 시대, 채광 등도 정할 수 있다.
 

---

 
 
<3. 미드 저니로 캐릭터 만들기(캐릭터 완성)>

락 롱 꾸언, 어우 꺼, 대왕 바다 물고기 응으띤, 구미호 롱 디엔, 북쪽 왕 데라이

 
<캐릭터 프롬프트>
락 롱 꾸언 A handsome Chinese man with dragon horns on his head, wearing gorgeous accessories from the Song Dynasty in China is surrounded by water waves. He has exquisite facial features, long hair flowing behind him, colorful eyes, high definition resolution, exquisite details, illustration style --cref https://s.mj.run/n4Q7hpsNvZ8--v 6.0
*--cref에 활용한 이미지는 prince of sea, but in eastern style, ugly, with dragon 프롬프트로 추출해 낸 사진이었다. 일부러 ugly를 넣은 이유는 처음에 prince of sea, but in eastern style, with dragon만 넣었을 때 신화 속 인물보다는 온실 속 화초 같은 남자 주인공 같은 느낌 때문이었다.
 
어우 꺼  princess, eastern style, with trees and forest, more humanlike
 
대왕 바다 물고기 응으띤 colorful digital art, the dark god of sea monsters bursting out from stormy waters in an epic ocean battle with ships, fantasy horror concept art, detailed and realistic digital illustration, high contrast and dynamic composition, dark grey clouds, a giant monster fish emerging over water with its mouth open, the scene is dramatic and intense, detailed marine life swirling around it, angry seafaring ship with crew members fighting to keep their balance amidst chaos and destruction --v 6.0
* 처음 프롬프트는 gigant fish monster, in Davy Jones style of "Pirates of Caribean"였다. 캐리비안의 해적 영화에서 데비 존스를 떠올렸다. 추출해 낸 사진을 /Describe를 이용해 얻은 프롬프트로 여러번 돌렸다.
 
구미호 롱 디엔 scary looking fox with nine long tails in the cave --v 6.0
* 롱 디엔이 꼬리가 아홉 개가 달린 구미호이다. 실제로 그림에서 꼬리가 9개 달린 여우로 추출이 되도록 이 방법 저 방법을 다 써봤는데 결국 추출해 내지 못했다. 꼬리가 풍성한 여우만 계속 나왔다;;
 
북쪽 왕 The greedy Chinese king, surrounded by gold and silver. featuring light gold tones and a hand drawn style. It features anime aesthetics, exquisite facial details, high resolution, no text, and high quality. The artwork is in the style of anime. --v 6.0
 
캐릭터 프롬프트의 전체적인 팁은 다음과 같다.
1. 초인쌤이 연수에서 알려줬던 방법으로 캐릭터 프롬프트 작성의 꿀팁이다. 요즘 챗GPT가 텍스트 생성을 잘해주기 때문에 이야기를 제작하거나, 캐릭터의 프롬프트를 만들어주기도 한다. 한국어로 답변을 받으면 온라인 번역기에 영어로 바꾸어 텍스트 프롬프트를 넣을 수 있다.

 
2. 비슷한 그림이 나왔는데 비슷한 결과물을 조금 더 보고 싶다면 /describe를 이용해 그림의 설명을 해달라고 하고 그 설명을 다시 /imagine에 넣는다. 락 롱 꾸언과 대왕 바다 물고기 응으띤은 그렇게 얻은 프롬프트이다.

---

 
<4. 장면 만들고 캐릭터 입히기(장면 완성)>
 

 
<장면 프롬프트>
장면 1  a prince walking out of the sea through the waves --cref https://s.mj.run/n4Q7hpsNvZ8 --v 6.0 --ar 3:2
장면 2 Scenes of several people pleading with a wonderful prince at sea --sref https://s.mj.run/n4Q7hpsNvZ8--v 6.0 --ar 3:2
장면 3 the back of the king's journey on a boat, middle of the ocean, through dividing waves --sref https://s.mj.run/n4Q7hpsNvZ8 --cref https://s.mj.run/n4Q7hpsNvZ8
장면 4 change fish to gigantic monster fish --cref https://s.mj.run/cY_jla6Js0k --v 6.0
* 바다 물고기를 처치하는 장면은 대왕 바다 물고기 응으띤 캐릭터를 변형해서 사용했다.
장면 5 change fox to nine tailed fox --cref https://s.mj.run/0mTPFpaPtyQ --v 6.0
* 락 롱 꾸언이 구미호를 처치하는 장면은 구미호 롱 디엔 캐릭터를 변형해서 사용했다.
장면 6 A vintage painting of the four footage palace on the coast, mountains behind it, sea view --sref https://s.mj.run/n4Q7hpsNvZ8 --ar 3:2 --v 6.0
장면 7 king and queen visit palace in the forest --sref https://s.mj.run/IVV82WvyJws --ar 3:2 --v 6.0
* 데리이 왕 얼굴을 입히려고 했는데 'Vary(Region)'을 이용하니 선택 영역 상반신에 얼굴이 다 들어가버려서 기괴한 결과를 얻었다. 나중에 연수해주신 선생님께 여쭤보니 Multiple expressions and poses를 텍스트 프롬프트에 활용해서 캐릭터를 잡을 때부터 다양한 각도와 포즈로 캐릭터를 만들어두면 좋다고 하신다.
 직접 다시 해봤는데 내가 할 땐 잘 안 돼서 나중에 다시 조언을 구하고자 한다.
장면 8 king and queen fall in love in first sight --sref https://s.mj.run/IVV82WvyJws --v 6.0 --cref https://s.mj.run/IVV82WvyJws --ar 3:2
* 원하는 장면을 먼저 만든 후에 --cref를 이용해서 캐릭터들의 얼굴을 넣었다.
장면 9 100 eggs in the forest --sref https://s.mj.run/k-ueJpQFcJU --v 6.0
장면 10 king and queen are having serious conversation --sref https://s.mj.run/IVV82WvyJws --v 6.0 --cref https://s.mj.run/IVV82WvyJws --ar 3:2
* 원하는 장면을 먼저 만든 후에 --cref를 이용해서 캐릭터들의 얼굴을 넣었다.
장면 11 Scene of a woman leaving a man in a forest with an ocean view. The woman is looking at the children and the man and the man is leaving for the sea. --sref https://s.mj.run/IVV82WvyJws --ar 3:2 --v 6.0
* 원하는 장면을 먼저 만든 후에 --cref를 이용해서 캐릭터의 얼굴을 넣었다.
장면 12 building stone castle --sref https://s.mj.run/WNWSfF-1C78 https://s.mj.run/Tk3_MR4QgNc --ar 3:2 --v 6.0
* 원하는 성 모습이 쉽게 나오지 않아서 인터넷에서 베트남의 옛날 성 모습인 '후에'의 성 모습을 --sref에 함께 넣었다. 이렇게 링크를 여러 개 참고하도록 넣는 것도 가능하고 마음에 쏙 드는 결과물을 얻었다.

장면 만들 때 전체적인 팁은 다음과 같다.
* 장면을 만들 때 그림체가 통일되어야 하기 때문에 Sref 파라미터 사용은 꼭 필수!
* 장면별 캐릭터 얼굴이 계속 같아야 하기 때문에 Cref 파라미터로 한 명씩 Vary Region 해서 넣어준다.
* 처음 만들 때부터 —ar 파라미터 이용해서 화면 비율 맞춰서 만든다.
 

---

 
<5. 대사를 녹음하기(음성 완성)>
 대사는 클로바더빙을 이용했다. 저학년용 콘텐츠인 것을 생각해서 어린아이의 목소리로 선택했다.
https://clovadubbing.naver.com/

클로바더빙

 

---

 
 
<6. 장면과 음성을 이용해 영상 만들기>

 
 캔바를 이용해서 자막을 넣고 영상 편집을 마무리했다.
 

---

 
완성작이다.
https://youtu.be/XhCuOjdFHPo?si=u0S46j1x4hdFnLW7

베트남 다문화 교육 자료_락 롱 꾸언과 어우 꺼 이야기_흥 부엉 추모 기념일_Lac Long Cuon Va Au Co_Hung Vuong

 
아쉬운 점은!
1. 저학년 용으로 만들 계획이었기 때문에 유아용 문화 그림체로 만들고 싶었다. 그런데 아직 미드저니 사용이 미숙하고 원하는 그림체로 그림을 일관되게 잘 만들질 못했다. 
2. 함께 만든 선생님께서 Haiper AI 프로그램을 활용하는 법을 알려주셨다. 사진을 넣으면 영상처럼 편집해 주는 프로그램인데 영상 퀄리티가 올라가긴 하지만 사진이 자꾸 깨지는 문제가 있었다. 결국 나는 사진으로만 영상을 완성했지만 모션 AI 프로그램을 조금 더 비교, 활용해보고 싶다. 함께 만든 선생님께서 만든 영상이다.

https://url.kr/DKS3LV

3. 활동지나 체험 활동이 함께 있으면 좋을 것 같다. 지식 전달 위주의 수업보다 아이들에게 훨씬 교육적 효과가 높을 것이라고 예상한다.
4. 미리 준비하자... 올해 흥 부엉 추모 기념일이 4월 18일이었는데 PPT 자료는 4월 16일에 완성하고, 영상은 4월 18일에 완성했다. 조금 더 여유를 가지고 준비해서 자료의 퀄리티를 높여보자.