Demo · dữ liệu nuScenes

VCuboidFIT · Minh bạch đo được

Dành công sức gán nhãn cho những frame đáng xem

Chọn 5 % keyframe đáng gán nhãn — và cho bạn thấy bằng chứng

Xem demo trên dữ liệu thậtBằng chứng đo được

Tối ưu hoá công sức

Bài toán & chi phí

Gán nhãn 70 thay vì 1389 frame · 5.0 % ngân sách

Toàn bộ pool dữ liệu100%

1389 frame

Chi phí và thời gian nếu gán nhãn thủ công toàn bộ dữ liệu không qua chọn lọc.

Ngân sách chọn lọc (B)5.0%

70 frame

Ưu tiên lô frame trong ngân sách, giữ lý do chọn để người gán nhãn kiểm tra. Hiệu quả được đánh giá riêng bằng benchmark.

Chạy local trên CPU

Bước chọn chạy trên CPU, có thể chạy local.

Lưu trữ dạng tệp

Lưu theo tệp và không cần cơ sở dữ liệu.

Xuất file ZIP CVAT

Xuất ZIP danh sách frame để đưa vào quy trình gán nhãn.

Gán nhãn một lô có ngân sách rõ ràng, thay vì toàn bộ pool. Bước chọn chạy trên CPU, có thể chạy local, lưu theo tệp và không cần DB. Xuất ZIP danh sách frame để đưa vào quy trình gán nhãn.

Phương pháp & kiểm chứng

Cùng một ngân sách. Những cách chọn khác nhau.

Chúng tôi đối chiếu bốn cách chọn frame trên cùng pool dữ liệu và ngân sách B. Sự thực tiễn nằm ở quy trình có thể dùng và kiểm tra lại, còn hiệu quả phải được xác nhận bằng số đo.

Hai mốc để đối chiếu

M0

Chọn ngẫu nhiên

Mốc tham chiếu khi chưa ưu tiên độ hiếm. Kết quả được lấy trung bình qua nhiều lần chọn để giảm ảnh hưởng của may rủi.

M1

Điểm hình học Tầng 0

Điểm độ hiếm hình học từ LiDAR, chạy trên CPU. Đây là đối chứng chính: điểm S phải hơn mốc này mới được coi là có giá trị.

VCuboidFIT · hướng tiếp cận thực tiễn

Tìm ứng viên, hiểu lý do, để người duyệt.

M2 · rare_v24 · LiDAR

Tìm ứng viên trong point cloud, chấm độ hiếm RHCIO và chọn lô theo ngân sách, có xét đa dạng.

M3 · rare_v24 · đa cảm biến

Bổ sung bối cảnh camera bằng OpenCLIP + OpenCV để đối chiếu với thông tin LiDAR.

Lý do chọn đi cùng frame; người gán nhãn có thể đối chiếu 3D và camera, rồi xuất lô đã kiểm tra.

  1. 01

    Giữ phép thử công bằng

    Cùng dữ liệu, cùng ngân sách; đăng ký trước phép so sánh và chỉ mở tập T một lần.

  2. 02

    Đếm mục tiêu thực sự thu được

    IY đo số instance hiếm thu được trên mỗi frame đã chọn. Capture B chỉ tính khi instance xuất hiện đúng dạng hiếm.

  3. 03

    Báo cáo cả độ bất định

    Bootstrap theo scene tạo khoảng tin cậy CI95. Nếu khoảng của chênh lệch chứa 0, chưa thể xác nhận lợi ích.

Đối chiếu với số đo thực nghiệm

Dữ liệu thực nghiệm

Bằng chứng đo được

Các phương pháp đánh giá (M0–M3)

M0Đã đo

Chọn ngẫu nhiên

M0 · Random

Chỉ số IY
0.073
CI95: [0.020, 0.156]
NY: 0.000
M1Đã đo

Điểm hình học Tầng 0 (đối chứng)

M1 · Legacy

Chỉ số IY
0.114
CI95: [0.000, 0.291]
NY: 0.079
M2Đã đo

Điểm S · chỉ LiDAR

M2 · lidar_only

Chỉ số IY
0.100
CI95: [0.000, 0.257]
NY: 0.052
M3Đã đo

Điểm S · LiDAR + camera

M3 · multisensor

Chỉ số IY
0.057
CI95: [0.000, 0.171]
NY: -0.030
IY và khoảng tin cậy CI95 của M0–M3
Phương phápIYCI95NY
Chọn ngẫu nhiênM0 · Random0.073[0.020, 0.156]0.000
Điểm hình học Tầng 0 (đối chứng)M1 · Legacy0.114[0.000, 0.291]0.079
Điểm S · chỉ LiDARM2 · lidar_only0.100[0.000, 0.257]0.052
Điểm S · LiDAR + cameraM3 · multisensor0.057[0.000, 0.171]-0.030

Nguồn: T pool · Run: 20261013-192329-49de1480 · Pool: 1389 frame · 35 scene · B = 70 · Capture: rare_form.

Ghi chú cho lần đo này: tập T toàn ban ngày, không có cảnh đêm hay mưa, nên chưa đo được phần camera được thiết kế để giúp. Ngoài ra 28/42 vật hiếm không có ứng viên LiDAR nào ở gần, nên không cách xếp hạng nào chọn được chúng.

Cách đọc các con số

IY
Số vật hiếm khác nhau bắt được chia cho số frame đã chọn. Chọn 10 frame cùng một người đi bộ vẫn chỉ tính 1 vật.
NY
IY đặt trên thang 0–1: 0 = ngang chọn ngẫu nhiên, 1 = ngang lời giải tối ưu biết trước đáp án. Âm = kém ngẫu nhiên.
CI95
Khoảng tin cậy 95 % từ bootstrap theo scene (lấy lại cả scene 1.000 lần). Khoảng càng rộng, số đo càng bất định.
ΔIY
Chênh lệch IY giữa điểm S (M2) và đối chứng (M1). Chỉ khi CI95 của chênh lệch nằm hẳn trên 0 mới được nói điểm S tốt hơn.
Vật hiếm
Vật trong nhãn thật thuộc tổ hợp lớp × khoảng cách × số điểm ít gặp; chỉ tính khi frame chứa vật đúng ở dạng hiếm. Nhãn chỉ được đọc ở bước chấm này, không dùng khi chọn.
IY theo ngân sách — T pool
fig_iy_budget.png · T pool
Minh hoạ frame từ lần đánh giá
Minh hoạ frame từ lần đánh giá · T pool

Minh bạch độc lập

Vì sao tin được số này

Đánh giá đăng ký trước theo pitch-v2; tập T mở một lần. Chỉ gt.py đọc nhãn; test_no_leakage_lidar kiểm tra ranh giới không rò nhãn. Không VLM: bối cảnh dùng OpenCLIP pretrained.

Đăng ký trước (Prereg)

Kế hoạch thử nghiệm đăng ký trước pitch-v2; tập dữ liệu T chỉ mở đúng một lần duy nhất.

Prereg SHA256: 590a7a6a17fd

Báo cáo kiểm chứng

Mã băm báo cáo kết quả kiểm chứng được lưu trữ độc lập để đối chiếu tính toàn vẹn.

Report SHA256: 0df8bd669634704a885324fe0156ab2267a248647933c4a8043540eb0ea52007

Ranh giới cách ly dữ liệu

Chỉ gt.py đọc nhãn; test_no_leakage_lidar kiểm tra ranh giới không rò nhãn.

Không mô hình VLM

Không VLM: bối cảnh dùng OpenCLIP pretrained tránh ảo giác.

Prereg SHA256
590a7a6a17fd
Report SHA256
0df8bd669634704a885324fe0156ab2267a248647933c4a8043540eb0ea52007

Định hướng nâng cấp

Chúng tôi biết nút thắt ở đâu

Khả năng tiếp cận ứng viên

M2 · mục tiêu có ứng viên tiếp cận: 14/42

33 % mục tiêu có ứng viên
TẦNG 1 · ĐÃ ĐO

Tầng 1: PointPillars đã train và đo

Khả năng bắt được ứng viên vẫn là nút thắt: số tiếp cận ở trên là của Tầng 0 hình học trong lần đánh giá T. Tầng 1 PointPillars đã được train và đo riêng trên 602 frame VAL nuScenes; chưa gắn vào phép so sánh T, nên chưa được dùng để kết luận về IY.

602 frame VAL nuScenes · 10 sweep · RTX 4060 Laptop · đánh giá tham khảo, không dùng để chọn checkpoint

mini-e80

Train trên nuScenes mini, 80 epoch

mAP0,017
NDS0,065

e6

Trainval, epoch 6/20 (A100)

mAP0,209
NDS0,282

e12

Trainval, epoch 12/20 (A100) · mới nhất

mAP0,220
NDS0,343

AP theo lớp ở e12

~330 ms/frame · 1,1 GB VRAM
  • Ô tô0,790
  • Xe tải0,702
  • Xe máy0,547
  • Người đi bộ0,132
  • Xe đạp0,012
  • Rào chắn0,013
  • Cọc giao thông0,000

Bus, trailer và xe công trình không có nhãn trong 602 frame này nên mAP 10 lớp có trần 0,7. Lớp nhỏ còn yếu vì train mới tới epoch 12/20, tắt gt_sampling để tránh rò nhãn và chỉ dùng 29 % dữ liệu trainval. Train tiếp tới epoch 20 là bước kế tiếp.

Giới hạn đánh giá

Bối cảnh camera, có giới hạn rõ ràng

Đêm (macro-F1)
0,968
Mưa (macro-F1)
0,48

Minh hoạ trên job night_v24: đêm macro-F1 0,968 và mưa macro-F1 0,48. Ngưỡng được fit trên V của job; các số này không phải kết quả T và không đại diện cho mọi thời tiết.

Hành động tiếp theo

Tự xem frame trước khi quyết định

Mở trực tiếp bảng điều khiển để khám phá các frame được chọn hoặc xem tài liệu hướng dẫn.

Xem demo trên dữ liệu thậtHướng dẫn