เมื่อวันที่ 28 – 30 พฤษภาคม 2564 ศูนย์เทคโนโลยีอิเล็กทรอนิกส์และคอมพิวเตอร์แห่งชาติ (เนคเทค) สำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ (สวทช.) โดยทีมนักวิจัย จากทีมวิจัยการประมวลผลและเข้าใจภาพ (IPU/ AINRG) ได้เข้าร่วมนำเสนอผลงาน ในงานประชุมวิชาการนานาชาติด้านการประมวลผลเทคโนโลยีภาพ The 13th International Conference on Digital Image Processing (ICDIP 2021) ซึ่งจัดขึ้นในรูปแบบออนไลน์ โดยสามารถคว้ารางวัล The Best Presentation Award จากผลงาน “Morph Targets for 3D Facial Animation with Webcam Using Facemesh, Jeeliz-tranfer APIs and Three.js”
ทีมพัฒนา ได้แก่ ดร.จันทร์จิรา สินทนะโยธิน คุณวิศรุต พลสิทธิ์ และคุณนลพรรษ วงแหวน
Abstract : This paper presents a face control system for 3D avatar with webcam using the Facemesh API for face tracking and Jeeliz-transfer API for eye tracking. 3D avatar face animation is developed as a responsive web application. It starts with face detection and tracking through the webcam. Face coordinate data is normalized to a vertical face view where the distance between the eyes and the level of the eyes are the same for each video frame. Then new face coordinates are calculated in both 2D and 3D to study the change of specific coordinates such as mouth shape and face shape. In addition, the coordinates of face structures in the video platform have also been added to the 3D model platform. Specific coordinates are studied to analyze distance changes to be applied in 3D avatars manipulation. The 3D models are designed and created in multiple blend-shapes or basic character facial features. However, due to the limitations of web browser-based 3D morphing, which Three.js is used for morph targets display, it allows only eight combination shapes to be displayed at the same time. Therefore, the required blending geometry must be pre-assembled. Blend-shape factors are based on an analysis of the coordinates of each moving face in order to eliminate the limitations. The results of our 3D facial animation with a webcam generate high quality, real-time and online simulation. Therefore, our work can be applied as a fundamental technology to assemble the same techniques for animating other 3D characters in blend-shape format.
