UAIV

遥感半自动化标注平台

Metadata 管理 · 模型预标注 · 人工复核 · Benchmark 导出

服务器导出
本地下载
UAIV-Labeler

低空城市治理数据标注生产平台

围绕真实无人机影像的数据生产流程,把服务器目录索引、12 组任务分配、规则/OCR/模型草稿、人工复核、风险队列、抽检清单和 Benchmark 导出放在同一个工作台里。

项目主页 GitHub
Current Batch4796 Images / 12 Groups
WorkflowDraft + Review + QA
ControlRisk Queue + Sampling

任务入口

先选择数据建设方向,再进入对应标注流程。

Production-Oriented

把复杂标注流程交给平台,把简单操作留给标注员

UAIV-Labeler 不只是画框工具。它会根据每张图的 metadata 自动显示该做的任务,先给出可追踪草稿,再让人工确认、修改和补漏,最后用风险队列和抽检清单支撑质控。

任务感知界面目标检测、OCR、场景、城市功能、事件、环境等模块按当前图像自动显示。
规则与已有标签预填场景、城市功能、观测条件和事件可按文件夹名/metadata 预填;OCR A 组可复核已有标签。
半自动化但可控规则、OCR、模型草稿和人工标注分来源统计,不把未复核草稿直接当最终标签。
管理与质检闭环管理员可按筛选范围批量预标注、查看风险样本、导出抽检清单和发布格式。
Published Dataset

UAIV 低空多模态数据集

UAIV 面向低空城市智能,覆盖多场景、多模态、多条件真实无人机影像,支持场景理解、时空学习、图像复原和城市治理相关 Benchmark 构建。本平台作为后续扩展数据的半自动化标注与核查工具,延续 UAIV 的 Metadata-first、多任务统一组织和可复用导出流程。

ModalitiesRGB / IR / Metadata
ConditionsRain · Snow · Fog · Haze
TasksUnderstanding · Restoration · Benchmark

正式标注流程

先由管理员导入并预填,再由标注员按组复核,最后由管理员质检、抽检和导出。

  1. 数据导入与 Metadata 校验
  2. 模型预标注与人工修正
  3. QA 核查与评测结果复盘
  4. COCO / VOC / JSON / QA 导出
Open-source Ready

三种使用方式,边界清楚

离线 Demo、在线演示和服务器部署面向不同场景。离线 Demo 适合本机试用和手动标注;在线演示用于快速预览;服务器部署用于读取团队数据盘并接入真实模型环境。

Offline Demo本机 127.0.0.1 试用,默认读取 sample_data,不暴露公网。
Online Demo公开地址用于预览,只能读取演示服务器上的数据。
Server Deployment部署到团队服务器后,才能浏览该服务器或挂载盘数据。
Model Plugin真实 YOLO / SAM / SegEarth / VLM 模型需在部署环境中配置。
Offline Workflow

离线 Demo 是独立本机流程

离线模式不依赖公网入口,也不会读取访问者之外的服务器磁盘。它用于本机试用、无网络演示和手动标注教学,默认只读取仓库内置示例数据。

  1. 克隆仓库并安装依赖
  2. 运行 bash offline_demo/run_offline.sh
  3. 打开 http://127.0.0.1:7860
  4. 导入 sample_data/images 并手动标注/导出
先选择一张图像

从左侧筛选自己的批次或标注组别,然后点击图像开始。进入图像后默认可直接拖拽画目标框。

目标框
OCR
工具
区域
SAM
编辑
未选择图像

模型中心

智能预标注

批量预标注

管理员

使用当前左侧筛选范围。默认只处理未建记录、空记录和规则草稿,不覆盖人工、OCR 导入、模型草稿、核验或驳回样本。

先选择左侧筛选范围,再预览候选数量。

自定义模型接入

可选扩展

可接入团队已有的检测、分割、OCR 或多任务模型,用于对当前图像生成初始标注,随后由人工复核确认。

QA 工具

面向城市大模型 Benchmark 的 QA 数据核查与评测结果复盘。支持审阅题目、选项、正确答案、模型回答和推理过程,便于统一修订与质量控制。

QA 题目核查

未加载

用于核查和修订 QA 数据本身:题目、选项、正确答案和配套图像。

QA image
请选择 TSV 文件

评测结果复盘

未加载

用于查看模型评测后的 XLSX 结果:模型答案、正确答案、是否命中以及推理过程;不用于修改 QA 题库。

Result image

Question

正确答案-
模型答案-
命中-
模型回答 / 思考过程

                  匹配日志
                  

                

外部部署

当前公开入口可用于在线预览和轻量试用。若外部团队希望直接读取自己的服务器数据盘、运行自己的模型环境并长期保存导出结果,建议在其服务器上部署一套独立实例。

1. 先区分三种使用方式

离线 Demo在本机运行,只绑定 127.0.0.1,默认读取 sample_data/。适合快速试用、课堂展示、无公网环境下的手动标注流程演示。
在线演示访问当前公开地址查看平台界面和流程。它只能读取演示服务器上的数据,不能直接访问访问者电脑或其他服务器的数据盘。
服务器部署把平台部署到团队自己的服务器或挂载数据盘后,服务器目录导入才能浏览该机器上的大规模图像、TSV/XLSX 和模型输出。

2. 离线 Demo 完整流程

离线 Demo 是本机流程,适合没有公网、不能暴露数据、只需要试用人工标注和导出的场景。它默认只使用仓库内 sample_data/,不包含大型模型权重,也不会让外部用户访问这台机器。

  1. 克隆或复制 UAIV-Labeler 仓库到本机。
  2. 安装 Python 依赖:pip install -r requirements.txt。
  3. 启动离线脚本:bash offline_demo/run_offline.sh;Windows 可运行 offline_demo\run_offline.bat。
  4. 浏览器打开 http://127.0.0.1:7860。
  5. 使用 sample_data/images 试用导入、画框、旋转框、点选区域、保存和导出。

在线演示和服务器部署则面向多人访问或大规模数据盘,需要公网入口、服务器目录权限和可选模型环境。

3. 快速启动

离线 Demo

cd /path/to/UAIV-Labeler
pip install -r requirements.txt
bash offline_demo/run_offline.sh

离线 Demo 默认打开 http://127.0.0.1:7860,只在当前电脑可见。

服务器部署

在团队服务器上准备 Python 环境后,进入平台目录并启动:

cd /path/to/UAIV-Labeler
pip install -r requirements.txt
bash scripts/start_public.sh

启动后访问:

http://<外部服务器IP>:7860

4. 数据放置

推荐把图像、TSV、XLSX 放在同一台服务器的数据盘,例如:

/data/UAIV/images
/data/UAIV/QA/questions.tsv
/data/UAIV/QA/results.xlsx

如果使用 QA 工具,建议将 QA 文件和配套图像放在同一数据目录下;平台会根据题目中的图像信息自动匹配,必要时也可以手动指定 QA 图像目录。

5. 公网访问

当前公开演示地址:

http://121.48.163.156:7860

其他服务器部署时,需要开放 7860 端口。云服务器还要在安全组/防火墙中放行 TCP 7860。

http://<server-ip>:7860

127.0.0.1 只代表服务器本机内部访问,不能作为发给外部用户的公开链接。

6. 域名与正式服务

长期公开建议使用 Gunicorn + Nginx。仓库已提供模板:

deploy/nginx_annotation.conf
deploy/uaiv-labeler.service
deploy/DOMAIN_DEPLOYMENT.md

有 root 权限后,可按 deploy/DOMAIN_DEPLOYMENT.md 配置域名、Nginx 反向代理和 HTTPS。

7. 注意事项

  • 公开演示可以用当前 Flask 服务;正式多人使用建议加登录认证。
  • 本地上传适合小规模 TSV/XLSX 或少量图片,大规模数据应使用服务器目录或挂载盘。
  • 如果要使用本地 YOLO、SegEarth、SAM 等模型,外部服务器也需要配置对应环境和权重。

平台使用说明

面向低空遥感多任务数据集的半自动化标注流程:导入、筛选、模型预标注、人工复核、保存和导出。平台核心竞争力在于以 Metadata 为中心组织低空遥感数据,并把多任务标注、模型预标注、自定义模型接入和 Benchmark 导出放在同一工作流中。

1. 平台用途

本平台用于无人机低空遥感图像的半自动化标注,支持城市大模型、生态大模型和图像复原相关任务。它的重点不是单一画框工具,而是把 Metadata 管理、多任务标注、模型预标注、自定义模型接入和 Benchmark 导出整合到同一套数据生产流程中。

2. 开发者信息

Jiening Zhang

UESTC 计算机方向博士生,研究方向包括 Computer Vision、Remote Sensing Generation、Data-centric AI、Low-shot Detection,以及低空多模态遥感数据集构建。

GitHub:https://github.com/JennyZhang0810/UAIV-Labeler

Remote Sensing Data-centric AI Low-shot Detection UAV Dataset Benchmark

3. 数据与文件位置

Metadatadata/metadata.json
保存后的标注data/annotations.json
服务器导出exports/
完整说明文档USER_GUIDE.md

4. 数据导入

服务器目录

适合直接使用平台所在服务器或挂载盘中的大规模影像数据,导入时仅建立索引,不重复复制原图。

  1. 选择“服务器目录”。
  2. 输入路径或点击“浏览”。
  3. 填写批次、飞行高度、经纬度、天气、场景和默认任务。
  4. 点击“开始导入”或“使用当前目录”。

电脑本地

适合从当前电脑选择少量影像进行试用或补充导入,平台会自动完成上传与索引。

导入完成后会在右上角弹出成功提示,并在工作台状态栏显示扫描数量、导入数量和跳过数量。

5. 图像列表与筛选

左下角图像列表显示图像 ID、场景、批次、天气、高度、任务、复核状态和数据来源。数据来源分为“实际数据”和“示例图”。筛选条件包括任务、场景、天气、批次、数据来源和飞行高度范围。筛选只作用于已经导入/已索引图像,用来缩小当前标注子集,不会重新读取目录。

6. Metadata

右侧 Metadata 面板显示当前图像的文件路径、批次、拍摄时间、飞行高度、经纬度、天气、场景、任务、宽高、来源目录等信息。若显示“未提取/未填写”,说明图像没有可读 EXIF/GPS,或导入时未填写默认值。

7. 人工标注

人工画框

在工具栏输入目标类别,例如 ship、vehicle、person,点击“人工画框”,然后在图像上拖拽生成 bbox。右侧目标框列表可修改类别与坐标。

旋转框

在角度输入框中填写旋转角度,点击“旋转框”,然后在图像上拖拽生成带角度的目标框。角度会保存到目标对象的 rotation 字段,并随 JSON/COCO/VOC 导出。

点选区域

点击“点选区域”后,在图像上逐点点击生成多边形;至少 3 个点后点击“完成区域”或双击图像完成。该结果保存到 segments[].points,适合道路、水体、湿地、农田等区域标注。

SAM 提示点

点击“SAM提示点”后,在图像上点击一个或多个前景提示点,再点击“运行SAM”。平台会把图像路径、Metadata、当前标注和提示点发送给独立 SAM 类 HTTP 服务,返回的区域追加到 segments[],再由人工复核和编辑。

编辑几何

点击“编辑几何”后,可以点击已有目标框或分割区域。拖拽框体可移动目标框,拖拽角点可调整大小;拖拽多边形顶点可修改区域边界,拖拽区域内部可整体移动区域。

添加目标框

该按钮会在当前图像中心新增一个默认框,宽约原图 18%、高约原图 14%,类别取工具栏输入框。它适合快速放置一个可编辑框;如果要按真实位置画框,请使用“人工画框”。

复核字段

右侧“标注复核”可编辑场景、环境、事件、QA、图像复原配对和城市结构理解。

8. 模型预标注

模型中心位于图像工作区下方。当前目标检测模型为 s2det-yolov8s,用于低空遥感目标检测预标注;SegEarth-OV 用于语义分割预标注。模型运行完成后会提示生成结果数量,即使没有检测到有效目标,也会给出完成提示。

自定义模型接入

如果团队已有检测、分割、OCR 或多任务模型,可以在模型中心填写模型名称、任务类型和服务地址,用于生成当前图像的初始标注,再由人工复核确认。

高级接入时,模型服务需接收当前图像信息,并返回标准标注结果,例如目标框、分割区域、OCR 文本、事件或 QA 条目。

{
  "objects": [
    {"label": "vehicle", "bbox": [120, 80, 60, 40], "score": 0.91, "status": "model:custom"}
  ],
  "segments": [],
  "ocr": [],
  "events": []
}

SAM3 为什么暂未直接接入?

SAM3 更适合带点、框或文本提示的交互式分割。后续会在提示交互和 GPU 服务模式稳定后,作为交互式分割工具接入平台。

9. 保存与快捷键

  • 点击“保存复核”:写入 data/annotations.json。
  • Ctrl+S / Command+S:保存并自动切到下一张。
  • ArrowRight:下一张。
  • ArrowLeft:上一张。
  • Ctrl+Z / Command+Z:撤销上一步。

“清除所有”会清空当前图像的目标框、分割、OCR、事件、复原和结构理解字段,保存后生效。“重新预标注”用于重新生成当前图像的初始标注,保存前可撤销。

10. 导出

顶部导出分为“服务器导出”和“本地下载”。服务器导出写入 exports/;本地下载由浏览器下载到当前电脑,VOC 会自动打包为 voc.zip。

JSON完整 Metadata 与标注,适合归档和平台复用。
COCO适合目标检测训练和评测。
VOC每张图一个 XML,适合传统检测流程。
QAJSONL 格式,适合事件理解和大模型 Benchmark。

11. 常见问题

为什么模型效果仍可能不好?

当前目标检测已换为 s2det-yolov8s,比原通用模型更贴近遥感检测流程;但不同数据集的视角、高度、天气和类别分布仍可能不同。后续可用平台复核数据继续训练 UAIV 专用模型。

为什么有些图没有经纬度?

平台会尝试读取 EXIF/GPS。若图像没有这些信息,且导入时没有填写默认经纬度/高度,就会显示为空。

为什么旧图一打开有框?

早期版本曾自动生成示例预标注。已写入的旧框不会自动删除,避免误删复核数据;可用“清除所有”后保存。

框坐标是原图坐标吗?

是。前端可能缩放显示大图,但保存和导出的 bbox、旋转框角度和多边形点位均按原图坐标记录。

12. 推荐工作流

  1. 导入一批图像,并填写批次、天气、场景、任务等默认 Metadata。
  2. 用筛选功能选择一个任务子集。
  3. 运行对应模型做预标注。
  4. 人工复核目标框、场景、事件和 QA。
  5. 使用 Ctrl+S 保存并自动进入下一张。
  6. 定期刷新统计查看进度。
  7. 阶段性导出 JSON、COCO、VOC 或 QA。
  8. 用导出数据训练更适合低空遥感的模型,再接回平台。