Facebook Reality Labs muốn giúp mọi người nhìn thấy đôi mắt của bạn khi bạn đang sử dụng thực tế ảo – ngay cả khi kết quả nằm ở đâu đó giữa cảm giác lo lắng và buồn ngủ. Đầu tuần này, FRL đã phát hành một bài báo về “VR chuyển qua ngược”, một công thức để làm cho tai nghe VR ít bị cô lập về mặt vật lý hơn. Các nhà nghiên cứu đã nghĩ ra một phương pháp để dịch khuôn mặt của bạn lên mặt trước của tai nghe, mặc dù họ nhấn mạnh rằng nó vẫn đang là thử nghiệm chắc chắn.
“Passthrough VR” đề cập đến một tính năng hiển thị nguồn cấp dữ liệu video trực tiếp từ camera của tai nghe, cho phép người dùng nhìn thấy thế giới thực trong khi họ vẫn đeo thiết bị. Ví dụ, nền tảng Oculus Quest của Facebook hiển thị cho người dùng nguồn cấp dữ liệu chuyển qua khi họ bước ra ngoài ranh giới không gian VR của mình. Nó hữu ích để nhanh chóng loại bỏ VR và nó cũng có thể kích hoạt một hình thức thực tế tăng cường bằng cách thêm các đối tượng ảo vào nguồn cấp dữ liệu máy ảnh. Nhưng như FRL lưu ý, những người xung quanh người sử dụng tai nghe không thể giao tiếp bằng mắt, ngay cả khi người đeo có thể nhìn thấy họ một cách hoàn hảo. Thật khó xử nếu những người ngoài cuộc quen nhìn thấy khuôn mặt không che đậy của bạn bè hoặc đồng nghiệp của họ.
Nhà khoa học FRL Nathan Matsuda đã quyết định thay đổi điều này. Một bài đăng trên blog giải thích Matsuda bắt đầu vào năm 2019, khi anh ấy gắn màn hình 3D vào tai nghe Oculus Rift S. Màn hình hiển thị kết xuất ảo khuôn mặt trên của anh ấy và các camera theo dõi mắt được thiết kế riêng đã chụp được nơi Matsuda đang nhìn, vì vậy, mắt của avatar của anh ấy có thể hướng về cùng một hướng. Kết quả về cơ bản là Matsuda đeo một chiếc máy tính bảng có khả năng dịch chuyển tức thời cho thấy bản sao khuôn mặt của chính anh ấy – điều này được cho là khó xử nhưng với một nét hậu hiện đại hấp dẫn hơn.
Theo bài đăng trên blog, nhà khoa học trưởng của FRL, Michael Abrash – khá dễ hiểu – không thấy ý tưởng này thực tế lắm. “Phản ứng đầu tiên của tôi là đó là một ý tưởng ngốc nghếch, tốt nhất là một sự mới lạ,” anh lưu ý. “Nhưng tôi không nói với các nhà nghiên cứu phải làm gì, bởi vì bạn không có được sự đổi mới nếu không có tự do để thử những điều mới.”
Matsuda đã thực hiện ý tưởng này, và trong hai năm tiếp theo, anh ấy đã dẫn đầu một nhóm phát triển một thiết kế sắc sảo hơn. Tai nghe nguyên mẫu của nhóm – mà nó đã tiết lộ trước hội nghị SIGGRAPH vào tuần tới – bổ sung một chồng ống kính và máy ảnh vào màn hình tai nghe VR tiêu chuẩn. Các camera âm thanh nổi ghi lại hình ảnh của khuôn mặt và đôi mắt bên trong tai nghe và chuyển động của chúng được ánh xạ vào một mô hình kỹ thuật số của khuôn mặt. Sau đó, hình ảnh được chiếu lên màn hình trường ánh sáng hướng ra bên ngoài. Màn hình đó tạo ra ảo giác nhìn qua thấu kính của kính bảo hộ dày và nhìn thấy một đôi mắt, mặc dù trên thực tế, bạn vẫn đang nhìn thấy một bản sao hoạt hình theo thời gian thực. Nếu người đeo chuyển sang chế độ VR đầy đủ, màn hình có thể trống để báo hiệu rằng họ không còn tương tác với thế giới bên ngoài.
Kết quả là một cặp kính hình bát giác trông giống như ở nhà trong một bộ phim của Terry Gilliam. FRL đã sử dụng một kết xuất đơn giản của một khuôn mặt ảo, nhưng nó cũng thể hiện hệ thống với các Hình đại diện Codec thực tế hơn, như được thấy bên dưới.
FRL thừa nhận rằng các thành phần riêng lẻ của hệ thống không phải là tất cả đều mang tính cách mạng. HTC đã có một tiện ích bổ sung theo dõi khuôn mặt cho tai nghe Vive Pro của nó; nó ánh xạ chuyển động lên hình đại diện bên trong VR, không phải màn hình hướng ra bên ngoài, nhưng nguyên tắc cũng tương tự. Bài báo của tuần này tập trung vào tiềm năng của hiển thị trường ánh sáng và cơ hội của hệ thống để tương tác xã hội trực tiếp tốt hơn.
Về mặt lý thuyết, kính chiếu kiểu HoloLens giúp khuôn mặt của bạn rõ ràng hơn nhiều so với màn hình xuyên qua – mặc dù rất nhiều loại kính đó có thấu kính bị tối, và như Đường đến VR ghi chú, ánh sáng chiếu vào thấu kính trong cũng có thể cản tầm nhìn của bạn. Nhưng khi các công ty như Apple được báo cáo là thử nghiệm với Nghiên cứu mới của Facebook cho thấy màn hình rắn không nhất thiết phải là rào cản đối với giao tiếp bằng mắt.
