Cẩm nang & Bảng thuật ngữ
Tài liệu chi tiết giúp bạn hiểu rõ các chỉ số đánh giá và cơ chế lọc frame của VCuboidFIT.
Quy trình v2: từ dữ liệu đến ảnh hiếm
- Chuẩn bị nuScenes: LiDAR, ego pose, timestamp; thêm camera nếu muốn xem bối cảnh. Nạp đủ các phần ZIP trên dashboard.
- Trong Chi tiết kỹ thuật, chọn rare_v24. Chỉ LiDAR (lidar_only) bỏ tầng bối cảnh; LiDAR + camera (multisensor) dùng OpenCLIP + OpenCV. Mặc định vẫn là c4_legacy.
- Thẻ RHCIO: độ hiếm R1/R2/R3, khó H, bối cảnh C, tương tác I, ngoại lệ O. Đây là dự đoán, không phải nhãn thật. Viewer hiển thị ứng viên Chưa xác nhận và bốn trục bối cảnh cho camera đang xem.
- Mở Hàng đợi duyệt bối cảnh để xem ảnh, xác suất, cờ CV và lý do chưa chắc. Hàng đợi không chặn selection.
- Xuất ảnh hiếm (ZIP): 6 camera hoặc chỉ camera trước, tuỳ chọn ảnh LiDAR đã có. ZIP gồm index.csv, meta.json và ảnh gốc; ảnh thiếu được ghi lại.
Giới hạn: pool không có đêm/mưa thì không thể chọn ra các cảnh đó. Số mini chỉ minh hoạ; capture B là số đo chính, A là số đo phụ. Thẻ và xác suất cần người duyệt.
Vào dashboard →1. VCuboidFIT làm gì?
1. Nạp dữ liệu
Đọc hàng vạn frame từ dataset chưa được gán nhãn.
2. Đánh giá độ hiếm
So sánh hình dạng 3D để tìm ra các frame bất thường nhất.
3. Trích xuất 5%
Chọn 5% frame giá trị nhất để bạn gửi đi gán nhãn.
2. Hai loại "hiếm" — Đừng nhầm lẫn
Thông điệp cốt lõi: Model chọn bằng "độ hiếm ước lượng"; hệ thống đánh giá bằng "hiếm thật theo nhãn".
Độ hiếm (ước lượng)
Model tự đoán frame này lạ đến mức nào chỉ từ hình dạng point cloud, không nhìn nhãn. 100% = lạ nhất trong bộ dữ liệu.
Khoảng cách trung bình từ frame tới k frame giống nó nhất ở các cảnh khác, đổi sang hạng phần trăm. Không đọc nhãn — đây là thứ dùng để CHỌN.
Hiếm thật (theo nhãn)
Frame có ít nhất một vật thể thuộc nhóm rất ít gặp trong bộ dữ liệu (theo nhãn 3D có sẵn). Chỉ dùng để CHẤM xem model chọn đúng không.
Một "ô" = loại vật thể × khoảng cách (0–20, 20–40, >40 m) × số điểm LiDAR trên vật (≤5, 6–20, >20). Ô hiếm khi xuất hiện ở dưới ngưỡng τ = 2% số frame. Frame đáng giá (theo nhãn) nếu chứa ≥ 1 ô hiếm. Ngưỡng chốt ở cổng G1.
3. Nhóm hiếm theo nhãn (Ground Truth)
| Tên nhóm | Chi tiết & Đối tượng |
|---|---|
| Môi trường khó | Cảnh có mưa hoặc ban đêm (theo mô tả cảnh). LiDAR ít bị ảnh hưởng bởi ánh sáng nên nhóm này thường khó tìm bằng LiDAR. |
| Vật thể rất hiếm | Có vật thể thuộc nhóm ít gặp nhất: trẻ em, xe đẩy, xe lăn, cảnh sát, công nhân, xe cứu thương/cảnh sát, động vật, vật cản rơi… |
| Vật thể ít gặp | Có xe máy, xe đạp, xe công trình, rơ-moóc hoặc xe buýt — ít hơn ô tô/người đi bộ nhưng không quá hiếm. |
| Khó nhìn bằng cảm biến | Có vật ở xa (> 40 m) chỉ còn rất ít điểm LiDAR (≤ 5), hoặc bị che khuất nhiều. Lưu ý: hầu hết frame đều có ít nhất một vật như vậy nên nhóm này hiện rất rộng (đang chờ chốt lại). |
| Hiếm thật | Xem mục 1. |
4. Các chỉ số đánh giá (Metrics)
Các chỉ số này chỉ có khi dataset được cung cấp kèm nhãn 3D. Chúng dùng để đánh giá độ hiệu quả của phương pháp so với lấy mẫu ngẫu nhiên.
| Chỉ số | Ý nghĩa | Cách đọc & Đánh giá |
|---|---|---|
| Tỉ lệ bắt được frame đáng giá | Trong tất cả frame đáng giá theo nhãn của bộ dữ liệu, tập 5% đã chọn chứa được bao nhiêu phần trăm. | Chọn ngẫu nhiên 5% kỳ vọng ≈ 5%. Cao hơn nhiều là tốt. |
| Tỉ lệ bắt được (so với mức tối đa có thể) | Như trên nhưng so với số frame tối đa có thể chọn, vì ngân sách 5% có khi nhỏ hơn số frame đáng giá. | 100% = mọi chỗ trong ngân sách đều là frame đáng giá. |
| Gấp mấy lần chọn ngẫu nhiên | Tập đã chọn bắt frame đáng giá tốt gấp bao nhiêu lần chọn ngẫu nhiên. | 1× = không hơn ngẫu nhiên. |
| Tỉ lệ frame đã chọn là hiếm thật | Trong các frame đã chọn, bao nhiêu phần trăm là hiếm thật. | — |
| Số cảnh mưa/đêm được chạm tới | Tỉ lệ cảnh mưa hoặc ban đêm có ít nhất một frame được chọn. | — |
| Độ phủ các kiểu hiếm | Bao nhiêu kiểu vật thể hiếm khác nhau có mặt trong tập đã chọn. | — |
| Độ phủ hơn ngẫu nhiên | Phủ được nhiều kiểu hiếm hơn chọn ngẫu nhiên bao nhiêu điểm phần trăm. | — |
| Mức trùng lặp | Tỉ lệ frame đã chọn có một frame khác cùng cảnh cách nhau dưới 2 giây (gần như giống nhau). | Thấp là tốt. |
| Số hộp cần gán nhãn | Tổng số vật thể trong các frame đã chọn — ước lượng công gán nhãn. | — |
| Chọn ngẫu nhiên (trung bình ± dao động) | Kết quả của 10 lần chọn ngẫu nhiên để so sánh. | — |
| Khoảng tin cậy 95% | Khoảng mà kết quả có thể dao động nếu đổi bộ cảnh — kết luận "hơn ngẫu nhiên" chỉ khi mép dưới vẫn cao hơn ngẫu nhiên. | — |
- Recall = 200 / 1,000 = 20%
- Ngẫu nhiên kỳ vọng = 5% (hoặc ~50 frame)
- Uplift = 20% / 5% = 4x (Tốt gấp 4 lần chọn ngẫu nhiên)
- Precision = 200 / 500 = 40%
5. Tham số Nâng cao
Cách đánh giá frame
Cơ bản: chỉ dùng hình dạng point cloud, nhanh, không cần model. Nâng cao: thêm model AI đã học trên một phần nhỏ dữ liệu có nhãn để tìm frame model còn lạ hoặc chưa chắc. Nâng cao chỉ mở khi dữ liệu đã chạy bước huấn luyện model.
Số frame giống nhất để so sánh độ hiếm
Số nhỏ: nhạy với khác biệt nhỏ, dễ coi nhiễu là hiếm. Số lớn: ổn định hơn nhưng có thể bỏ qua kiểu hiếm chỉ xuất hiện vài lần. Mặc định 10.
Ưu tiên khi chọn
Hiếm nhất: lấy frame điểm cao nhất kể cả khi giống nhau. Đa dạng nhất: tránh chọn frame na ná nhau. Mặc định 70% hiếm · 30% đa dạng.
Tối đa số frame mỗi cảnh
Giữ tập chọn không dồn vào một đoạn đường. Nếu không đủ chỗ để chọn đủ 5%, hệ thống tự nới và báo cảnh báo.
Mức quan trọng: Hiếm trong dữ liệu
Tự quy đổi về tổng 100%. Chế độ Cơ bản chỉ dùng "Hiếm trong dữ liệu".
Mức quan trọng: Lạ với model
Tự quy đổi về tổng 100%. Chế độ Cơ bản chỉ dùng "Hiếm trong dữ liệu".
Mức quan trọng: Model chưa chắc chắn
Tự quy đổi về tổng 100%. Chế độ Cơ bản chỉ dùng "Hiếm trong dữ liệu".
Ngân sách
Phần trăm số frame được chọn để gán nhãn (mặc định 5%).
6. Câu hỏi thường gặp (FAQ)
Vì sao Recall lại bằng 0% dù có frame đáng giá?
Nếu Recall = 0%, có nghĩa là tập 5% frame bạn trích xuất được hoàn toàn không "trúng" frame nào chứa vật thể hiếm theo nhãn. Điều này có thể xảy ra khi ưu tiên đa dạng quá cao, các frame đáng giá giống nhau bị coi là trùng và loại bớt. Lời khuyên: Hãy thử kéo Ưu tiên khi chọn về phía "Hiếm nhất", hoặc tăng ngân sách. Lưu ý: với bộ dữ liệu nhỏ (chỉ có vài chục frame đáng giá), Recall dao động rất mạnh nên chưa thể kết luận chắc chắn.
Vì sao Nhóm C (Khó nhìn bằng cảm biến) lại rất rộng?
Nhóm C bao gồm các vật ở xa (> 40 m) với rất ít điểm LiDAR. Trên thực tế, hầu như cảnh nào cũng có một vài vật thể ở xa rìa lọt vào tầm quét, do đó nhóm C chiếm tỉ lệ rất cao trong bộ dữ liệu, khiến việc đánh giá "độ hiếm" của nhóm này trở nên không còn ý nghĩa. Hiện nhóm này đang được lên kế hoạch tinh chỉnh lại định nghĩa.
Điều gì xảy ra nếu dataset không có nhãn 3D?
VCuboidFIT vẫn phân tích độ hiếm bằng điểm hình học của LiDAR (thuật toán không giám sát). Tuy nhiên, các chỉ số đánh giá bằng nhãn như Recall, Uplift hay Coverage sẽ bị ẩn đi, vì hệ thống không có cách nào biết đâu là "hiếm thật" để chấm điểm.