Công nghệ camera điện thoại có những thuật toán xử lý hình ảnh nào?

Một máy ảnh cơ bản gồm buồng tối trong đó có tấm chất liệu nhạy sáng (ta gọi là tấm phim và tấm cảm biến ảnh), một ống kính với hệ thấu kính để hội tụ luồng sáng đi qua hội tụ lại chính xác trên bề mặt cảm biến ảnh. Một quy trình chuyển đổi từ thông tin hạt sáng thành điện tích xảy ra và tấm ảnh RAW hình thành. Chất lượng của tấm ảnh đó khởi đầu lệ thuộc vào chất lượng và kích thước của các cơ phận vật lý và quang học trên.

Nhưng cụm camera điện thoại trong không gian hạn hẹp, điện năng giới hạn, giải nhiệt có mức độ… rất khó để gia tăng chưa kể chi phí giá thành tăng cao, nên các công nghệ phần mềm được phát triển để bù đắp. Sau một thời gian trải nghiệm / review nhiều camera của điện thoại, mình tổng hợp lại cơ bản những phần mềm can thiệp vào bức ảnh mà chúng ta chụp, với phần giải thích phổ thông hơn. Đại loại nói dễ hiểu là với một chiếc camera phone được sản xuất, có thể họ tự làm hoặc mua về lắp cụm phần cứng cơ bản, rồi tunning hiệu chỉnh file RAW sao cho ảnh kết quả JPG vừa con mắt, thì họ còn phải làm hoặc mua một số module phần mềm, của các nhà chuyên phần mềm, về tích hợp vào để có được những cái mà chúng ta gọi là tính năng này nọ.

Công nghệ ánh sáng yếu (Low Light Technology)

Camera phone dùng cảm biến hình ảnh như máy ảnh số nhưng diện tích rất nhỏ. Chỉ khoảng gần ½ inch thôi. Nên lượng photon ghi nhận tín hiệu rất hạn chế. Dễ thấy khi chúng ta chụp ảnh bằng điện thoại ngoài trời nắng đẹp, ánh sáng chan hoà thì ảnh vừa ý, nhưng chụp buổi tối hoặc bối cảnh ánh sáng hơi yếu thì ảnh bị nhiễu hạt (noise), mất nhiều chi tiết, màu sắc biến chất, độ sắc nét suy giảm… Nặng nề hơn, khi quay video, với độ phân giải 1080p, 30 khung hình / giây trong thời gian thực, chất lượng hình ảnh càng khó khăn hơn.

Chúng ta không nói đến giải pháp tăng cường công lực phần cứng ở đây. Không gian cho cụm camera rất hẹp, nhiệt độ tăng cao và vấn đề tản nhiệt phát sinh căng thẳng, chi phí sản xuất… Các nhà sản xuất phần mềm xuất hiện. Họ sử dụng nhiều file ảnh thô ngay ghi cảm biến ghi nhận ánh sáng (RAW), các module thuật toán xử lý một loạt ảnh RAW với nhiều mức độ phơi sáng (Evalue Exposure) với mức chênh lệch khác nhau khi được chụp tự động cùng khung (frame).

Nhiều hãng tự làm hoặc mua module xử lý từ các công ty phần mềm, tích hợp vào cho điện thoại của mình. Khi trộn xếp lớp các tấm ảnh RAW đã được “làm tươi tốt” hơn, có thể can thiệp cho từng nhóm pixels, thì bức ảnh cuối cùng mà ta thấy nó hiện ra trên điện thoại của mình đã tươi đẹp hơn. Hãng nào làm tốt hơn thì ảnh trông “thật” hơn. Cải tiến qua mỗi phiên bản, rút ngắn thời gian xử lý và giúp trải nghiệm chụp ảnh thiếu sáng nhiều cảm hứng tự nhiên hơn, ít tiêu thụ điện năng hơn…

Công nghệ ổn định khung ảnh (Stabilizer Technology)

Chụp ảnh bằng điện thoại hầu như người dùng cầm bằng tay, nhiều khi cầm một tay, cầm chụp cả khi đang di chuyển, đang trên xe… Thứ hai là phần mềm luôn cố gắng làm cho bức ảnh chụp bằng điện thoại được sáng rõ ăn ngay, nên thường gặp khó khăn khi phải giảm tốc độ cửa trập thấp, sự rung lắc sẽ gây mờ nhoè chi tiết ảnh. Ngoài các điện thoại trang bị hệ thống ổn định vật lý quang học (OIS – optical image stabilization) thường có trên các dòng cao đắt tiền, trang bị hệ thống con quay hồi chuyển, hoặc xê dịch cảm biến… thì các hãng còn tích hợp module phần mềm xử lý vụ này bằng thuật toán.

Bằng cách, từ một ảnh RAW, bạn có thể tạo ra một trăm bức ảnh theo cách dịch chuyển pixel trên các vùng cảm biến. Tương tự, chúng ta có một thấu kính có thể dịch chuyển điểm chụp một cách tự do, bù lại độ rung lắc dịch chuyển của ảnh. Về lý thuyết, tương tự ổn định quang học, chẳng phải tính toán gì, chỉ chọn pixel đúng vị trí nhặt lại từ nhiều ảnh để thành một ảnh. Cảm biến và ống kính càng lớn thì khung chuyển động càng lớn. Càng nhiều tính năng thì càng nhiều lỗ thủng từ các mạch điện và giải nhiệt phát sinh. Và, hệ thống ổn định hình ảnh kỹ thuật số nào cũng hoạt động theo cách tương tự.

Công nghệ ghép ảnh Pano (Stitching Technology)

Chúng ta nói đến Panorama hoạt động làm sao? Đây là tính năng trẻ em yêu thích. Mình cũng thích. Nó thật sự là ứng dụng hữu ích chụp toàn cảnh rộng với độ phân giải cao. Điều đáng nói là, nó cũng dùng kỹ thuật xếp chồng ảnh. Bằng cách kết hợp nhiều ảnh được dịch chuyển nhẹ nhàng, ghép lại để có bức ảnh độ phân giải cao hơn rất nhiều.

Thuận tiện của công nghệ này là ghép một bức pano rất nhanh với một lần chụp, cả 360°, hoạt động tốt cả camera sau (có thể cả camera góc rộng lẫn hẹp) và camera selfie, giúp sáng tạo nhiều khung ảnh thú vị như kiểu biến hình. Module thuật toán này kết hợp với nhận diện khuôn mặt khi chụp có chân dung, HDR+ để xử lý luôn các vùng sáng chênh, hiệu chỉnh luôn cân bằng trắng với khung hình quá nhiều nhiệt độ màu khác nhau, thậm chí xử lý biến dạng vật thể ở gần ống kính hay đường chân trời cong vênh các kiểu luôn… Chúng ta dùng chế độ chụp pano rất nhiều, bên trong nó là một chuỗi những thuật toán xử lý hoạt động khi ta bấm nút.

Công nghệ nhận diện khuôn mặt (Facial Technology)

Câu chuyện ai cũng muốn mặt mình đẹp khi chụp hình. Nếu chụp một bức hình đông người, khi xem hình thì ai cũng có khuynh hướng tìm xem mình đứng chỗ nào và có đẹp không, rồi mới quét thị giác ra vùng khác  Chụp bằng máy ảnh thì mấy ông thợ về cho vô “phòng tối xử lý” Lightroom hay Photoshop. Chụp hình điện thoại “chụp một phát ăn ngay thấy liền” thì mặt tui phải đẹp ngay và luôn, không thì khó mà chi trả khoản tiền xuống tay mua máy 😀 Thế là các hãng phần mềm bán thêm cho các hãng không tự sản xuất phần mềm module này.

Nhận diện khuôn mặt tự thân không để làm gì. Nó ra đời cái nhận diện là để xử lý cái mặt đó, làm sao cho cái khuôn mặt đó được “sáng mặt ăn tiền” bởi người dùng không cần biết nguồn sáng khó khăn thế nào. Nhiều hãng đã tự làm hoặc mua gói này về tích hợp vào và người dùng thích. Các bước cơ bản hoạt động như sau:

• Tìm khuôn mặt: xác định trong khung hình có khuôn mặt hay không và điều khiển hệ thống đo sáng thực hiện đo sáng điểm cũng như lấy nét vào đó.
• Theo dõi khuôn mặt: phát hiện khuôn mặt và dùng thuật toán theo dõi khuôn mặt đó trong thời gian thực (track in realtime)
• Tìm đặc tính riêng trên khuôn mặt: một cách tái lập nhận diện để chính xác khuôn mặt chuẩn bị cho việc thực hiện xử lý làm đẹp bằng phần mềm.
• Nhận dạng thông tin ảnh: Phân tích dữ liệu và quy đổi thông tin về chủng tộc, tuổi tác, giới tính, nét mặt, các chi tiết khác như râu tóc mũi miệng… Bởi vậy nên có nhiều hãng khi ra mắt sẽ nói là camera thông minh xử lý da mặt tuỳ theo thổ cư, sắc tộc, giới tính, màu da… là vậy.

Module phần mềm này ngày càng được cải tiến, đáp ứng tốt dần các tình huống chụp ảnh khó về ánh sáng, góc chụp về khuôn mặt đa dạng (không chỉ trực diện), thiếu sáng, ngược sáng, khuôn mặt chuyển động, biểu cảm đa dạng hơn… và quan trọng là họ cố gắng làm sao phần mềm chạy ít tốn điện năng hơn.

Công nghệ HDR (HDR Technology)

Đây là một công nghệ cơ bản nhất có từ rất sớm, khi camera phone bắt đầu được quan tâm chục năm hoặc hơn về trước. Chuyện cũ nhắc lại – cái mà chúng ta vốn gọi là Exposure Stacking – điện thoại nào chụp chân dung người đứng trước với bầu trời sáng phía sau mà có được mây trời tự nhiên thì khuôn mặt người tối, hoặc khuôn mặt tự nhiên thì bầu trời sẽ “cháy sáng” (mất hết chi tiết thành một vùng trắng sáng). Giải pháp để mở rộng độ sáng là HDR. Chụp một phát không được thì làm điều đó bằng nhiều bước hơn. Máy sẽ chụp nhiều bức ảnh với độ phơi sáng chênh lệch khác nhau (bình thường – tối hơn – sáng hơn). Rồi chồng xếp chúng lại và tính toán làm sao cho ánh sáng được hài hoà mọi vùng ảnh. Đó là lý thuyết.

Thực tế, trước hết phải giải quyết là khi phải tự động chồng ghép thì độ phơi sáng của mỗi bức thay đổi thế nào để không quá mức trong nhiều tình huống cụ thể khác nhau? Các điện thoại thông minh đều dùng thuật toán tự động bật chế độ HDR khi phát hiện bối cảnh có độ tương phản sáng chênh lệch cao. Google không làm như vậy, kết hợp nhiều khung hình được chụp cùng độ phơi sáng như nhau (cùng EV), với mục đích tránh tình trạng phơi sáng quá mức tại các vùng quá sáng (overexposing bright) của khung cảnh, và để giảm nhiễu vùng tối ở tấm -EV rồi xử lý theo cách xếp chồng.

Nhược điểm chính của HDR trên điện thoại là trong bối cảnh ánh sáng kém / quá kém thì gần như tính năng bù sáng trở nên vô dụng. Với điều kiện sáng này, máy không thể cân bằng sáng và xếp chồng chúng được. Lý do vì sao? Tấm cần “sáng nhất” thì phải phơi sáng lâu và ngoài khả năng cầm tay cố định máy, chi tiết nhoè; còn tấm có độ phơi sáng thấp nhanh hơn thì lại không ghi nhận đủ lượng sáng để giàu chi tiết hơn cho vùng tối. Các nhà sản xuất phần mềm lại tìm cách tiếp cận khác cho HDR trên điện thoại xếp chồng thời gian. Máy ảnh phát hiện tự động bối cảnh được chụp là đêm tối, cho sẽ trích xuất từ bộ đệm 8-15 tấm định dạng RAW (hoặc nhiều hơn), dùng AI thuật toán chọn lựa và tham chiếu theo vùng hoặc từng pixel giữa chúng và xếp chồng lên nhau. Kiểu như thay vì xào nấu từng vùng hoặc từng pixel thì bây giờ có 8 đến 15 dữ liệu ánh sáng tương tự để AI thu thập thông tin làm việc, thông tin vùng tối sẽ tốt hơn, rõ ràng hơn, ít nhiễu hơn. Giả lập như một cách chụp với hiệu ứng của phơi sáng dài như nguyên lý chụp Star Trails, các lỗi trên bức ảnh kết quả được giảm thiểu. HDR+ (thêm dấu cộng) ra đời

Công nghệ nhận dạng cử chỉ (Gesture Recognition Technology)

À, cái này ngoài việc dùng cử chỉ tay vẫy, miệng cười, nháy mắt hay lắc đầu để kích hoạt camera, có thể nói đến camera hỗ trợ cho công nghệ nhận diện cử chỉ tay để phục vụ cho một hoạt động khác. Thông qua phần mềm tích hợp khi dùng camera, có thể bằng nhiều ống kính, đo chiều sâu không gian, phân tích để nhận diện chính xác một cử chỉ bằng tay chẳng hạn để cuộn trang duyệt web hay điều khiển thiết bị khác trên màn hình, máy tính bảng, điều chỉnh âm lượng hay kênh TV mà không cần bấm remote chẳng hạn.

Đây cũng là một gói phần mềm được cài tích hợp vào để camera hoạt động. Có hãng viết gói này rồi bán hoặc có hãng tự làm. Họ dùng thuật toán thu thập và phân tích một lượng lớn dữ liệu các cử chỉ tay thông dụng để khi kích hoạt thì phát hiện chính xác, trong nhiều điều kiện ánh sáng, nhiều khoảng cách gần xa, bối cảnh phức tạp… Với công nghệ này tích hợp trong phần mềm camera, nhận diện cử chỉ tay 3D sẽ giúp người dùng tương tác với các thiết bị máy móc tự nhiên hơn. Ứng dụng ngày càng rộng rãi trong các thiết bị nhà thông minh, tương tác ổn định và tốt hơn với các thiết bị VR và AR.

Công nghệ nhận dạng đối tượng / vật thể (Object & Scene Recognition)

Các bạn thấy cái này khi chụp hình hoặc quay video, trên màn hình điện thoại hiện ra icon nhận diện đây là cảnh biển, đây là thức ăn, hay đây là con mèo… Đó là gói phần mềm này đang hoạt động khi kích hoạt camera. Nó tự động phát hiện môi trường tổng thể, rồi phân tích trong đó có những cái gì, khi nào và ở đâu… ví dụ khi chụp người, vật nuôi, kích thước, cảnh phố, ban ngày, ban đêm, trưa nắng, bóng râm… thì nó phân tích và xác định được như vậy, để đưa ra thông số chụp phù hợp một cách tự động. Bằng cách đó, camera điện thoại sẽ tối ưu hơn chất lượng hình ảnh với từng loại đối tượng, từng môi trường ánh sáng.

Các nhà sản xuất phần mềm sẽ phải tập hợp một kho dữ liệu rất lớn về môi trường và đối tượng để máy học và đối chiếu, thuật toán phân tích và xác định chính xác từ nhiều dữ liệu khác nhau. Từ đó, đề xuất giải pháp điều chỉnh thông số, xử lý màu sắc, ánh sáng, hình dạng… phù hợp nhất. Công nghệ này sẽ còn phát triển mạnh hơn và tính ứng dụng rộng hơn, từ nhận diện loại đối tượng cho vào lò nướng đến bố cục căn phòng, xe hơi phát hiện người… hay ứng dụng AR/ VR nhận ra đối tượng phía trước…

Công nghệ nhận biết chuyển động (Motion Sensing Technology)

Một module phần mềm nữa giúp phát hiện cơ thể người chuyển động tốc độ cao, theo dõi và đề xuất việc ghi hình chính xác hơn. Phần mềm này có thể hoạt động tốt trong nhiều điều kiện ánh sáng chênh lệch khác nhau, nhất là môi trường thiếu sáng, ánh sáng xiên, nguồn sáng nền phức tạp… Giúp camera theo dõi đối tượng chuyển động trong thời gian thực, tối ưu việc ghi hình có độ sắc nét và chất lượng hơn.

Công nghệ lập thể (Stereoscopic Technology)

99% ảnh chụp thường là phẳng, 2 chiều và camera phone có nhiều giới hạn phần cứng nên ảnh nhìn càng thiếu thông tin chiều sâu. Một gói phần mềm hỗ trợ phát hiện và tách chủ thể khỏi nền ảnh, càng ngày họ làm động tác tách biên càng chính xác hơn, ít lem nhem hơn giữa các chi tiết bối cảnh, chủ thể / đối tượng và hậu cảnh, và đoạn xào nấu xử lý đối tượng đó tuỳ theo nhận diện là cái gì sẽ phù hợp với thông số và chính xác hơn.

ST.

Xem thêm:

Adobe Photoshop và những điều có thể bạn chưa biết

Lịch sử ra đời và phát triển của máy ảnh

Định dạng ảnh JPG và JPEG là gì? loại định dạng nào tốt hơn?