Vega-VLHOT

{
  "model": "wand-vega-vl-1.0-pro",
  "stream": false,
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "문서에 기재된 참조 코드와 청구 금액을 추출하세요."
        },
        {
          "type": "file",
          "file": {
            "file_url": "https://wand.tencentpoc.com/api/media/vega-vl-sample.pdf"
          }
        }
      ]
    }
  ]
}

{
  "model": "wand-vega-vl-1.0-flash",
  "stream": false,
  "messages": [
    {
      "role": "user",
      "content": "17 + 26을 계산하고 숫자만 답하세요."
    }
  ]
}

{
  "model": "wand-vega-vl-1.0-lite",
  "stream": false,
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "녹음에서 말한 코드 단어와 숫자를 추출하세요."
        },
        {
          "type": "input_audio",
          "input_audio": {
            "url": "https://wand.tencentpoc.com/api/media/vega-vl-sample.wav"
          }
        }
      ]
    }
  ]
}

curl -sS https://mmu.vod-qcloud.com/v1/chat/completions \
  -H "Authorization: Bearer $AIGC_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "wand-vega-vl-1.0-flash",
  "stream": false,
  "response_format": {
    "type": "json_object"
  },
  "messages": [
    {
      "role": "system",
      "content": "영상에서 확인되는 내용만 분석하고 유효한 JSON으로 응답합니다."
    },
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "이 영상의 주요 장면을 요약하고 짧은 클립으로 사용할 구간 1개를 선택하세요. 시작과 종료는 초 단위입니다. 응답 형식: {\"summary\":\"장면 요약\",\"highlights\":[{\"start\":0,\"end\":5,\"score\":80,\"reason\":\"선정 이유\"}]}. score는 0부터 100 사이의 정수입니다."
        },
        {
          "type": "video_url",
          "video_url": {
            "url": "https://mpstestmodel-1315536146.cos.ap-singapore.myqcloud.com/justin/wiki-examples/vega-pro-example.mp4"
          }
        }
      ]
    }
  ]
}'

{
  "summary": "영상은 초콜릿 강의 수면을 따라 카메라가 이동하며 점점 상승해, 사탕 지팡이, 공중에 떠다니는 마카롱, 사탕으로 만들어진 거대한 투명 건물이 가득한 환상적인 디저트 세계의 풍경을 보여주고, 쿠키와 사탕 장식이 달린 특별한 의상을 입은 소녀가 웃으며 걸어가 주변 풍경에 감탄하는 모습을 담는다.",
  "highlights": [
    {
      "start": 0,
      "end": 10,
      "score": 90,
      "reason": "영상의 전체 판타지 디저트 세계 풍경과 소녀의 즐거운 반응이 모두 포함되어 이 영상의 독특한 동화적인 분위기를 짧은 클립 하나로 완벽하게 전달할 수 있기 때문"
    }
  ]
}

{
  "model": "wand-vega-vl-1.0-flash",
  "stream": false,
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "이 영상의 전체 내용을 요약해줘."
        },
        {
          "type": "video_url",
          "video_url": {
            "url": "https://example.com/clip.mp4"
          }
        }
      ]
    }
  ]
}

{
  "choices": [
    {
      "message": {
        "role": "assistant",
        "content": "6초 분량의 클립으로, ..."
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 1285,
    "completion_tokens": 1211,
    "total_tokens": 2496
  }
}

"messages": [
  { "role": "system", "content": "답변 규칙" },
  { "role": "user", "content": "질문과 미디어" }
]

{
  "role": "user",
  "content": "이 영상에 대해 설명해줘."
}

{
  "role": "user",
  "content": [
    {
      "type": "text",
      "text": "이 영상의 전체 내용을 요약해줘."
    },
    {
      "type": "video_url",
      "video_url": {
        "url": "https://example.com/clip.mp4"
      }
    }
  ]
}

{
  "model": "wand-vega-vl-1.0-flash",
  "stream": false,
  "messages": [
    {
      "role": "system",
      "content": "You are a professional video analyst."
    },
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "이 영상의 전체 내용을 요약해줘."
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "https://example.com/frame.jpg"
          }
        },
        {
          "type": "video_url",
          "video_url": {
            "url": "https://example.com/clip.mp4"
          }
        }
      ]
    }
  ]
}

https://mpstestmodel-1315536146.cos.ap-singapore.myqcloud.com/justin/wiki-examples/vega-pro-example.mp4?q-sign-algorithm=...

{
  "choices": [
    {
      "message": {
        "role": "assistant",
        "content": "...",
        "reasoning_content": "..."
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 1285,
    "completion_tokens": 1211,
    "total_tokens": 2496,
    "completion_tokens_details": {
      "reasoning_tokens": 858
    },
    "prompt_tokens_details": {
      "audio_tokens": 36,
      "cache_read_tokens": 0,
      "cached_tokens": 0
    }
  },
  "request_id": "..."
}

video_tokens = usage.get("video_tokens") or (usage.get("prompt_tokens_details") or {}).get("video_tokens")

def extract_json(text):
    if not text:
        return None
    s = text.strip()
    if s.startswith("```"):
        s = s.strip("`")
        if s.lower().startswith("json"):
            s = s[4:]
        s = s.strip()
    try:
        return json.loads(s)
    except Exception:
        start, end = s.find("{"), s.rfind("}")
        if start == -1 or end <= start:
            return None
        try:
            return json.loads(s[start:end + 1])
        except Exception:
            return None

curl -sS -X POST https://mmu.vod-qcloud.com/v1/chat/completions \
  -H "Authorization: Bearer $AIGC_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "wand-vega-vl-1.0-flash",
  "stream": false,
  "messages": [
    {
      "role": "system",
      "content": "You are a professional video analyst. Answer in Korean unless the user writes in another language."
    },
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "이 영상의 전체 내용을 요약해줘."
        },
        {
          "type": "video_url",
          "video_url": {
            "url": "https://mpstestmodel-1315536146.cos.ap-singapore.myqcloud.com/justin/wiki-examples/vega-pro-example.mp4?q-sign-algorithm=..."
          }
        }
      ]
    }
  ]
}'

curl -sS -X POST https://mmu.vod-qcloud.com/v1/chat/completions \
  -H "Authorization: Bearer $AIGC_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "wand-vega-vl-1.0-flash",
  "stream": false,
  "response_format": {
    "type": "json_object"
  },
  "messages": [
    {
      "role": "system",
      "content": "You are a highlight detection engine for short-form clipping. Return strictly valid JSON, no prose."
    },
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "숏폼 클립으로 쓸 만한 하이라이트 구간을 뽑아줘.\n\nReturn ONLY valid JSON:\n{\"highlights\":[{\"start\":\"mm:ss\",\"end\":\"mm:ss\",\"score\":<0-100>,\"reason\":\"\"}]}\nRespond with JSON only."
        },
        {
          "type": "video_url",
          "video_url": {
            "url": "https://mpstestmodel-1315536146.cos.ap-singapore.myqcloud.com/justin/wiki-examples/vega-pro-example.mp4"
          }
        }
      ]
    }
  ]
}'

curl -sS -X POST https://mmu.vod-qcloud.com/v1/chat/completions \
  -H "Authorization: Bearer $AIGC_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "wand-vega-vl-1.0-pro",
  "stream": false,
  "response_format": {
    "type": "json_object"
  },
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "이 이미지의 태그를 뽑아줘. Respond with JSON only."
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "https://<cdn>/frame.jpg"
          }
        }
      ]
    }
  ]
}'

{
  "model": "wand-vega-vl-1.0-flash",
  "messages": [
    {
      "role": "system",
      "content": "You are a professional video analyst. Answer in Korean unless the user writes in another language."
    },
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "이 영상의 전체 내용을 요약해줘."
        },
        {
          "type": "video_url",
          "video_url": {
            "url": "https://example.com/video.mp4"
          }
        }
      ]
    }
  ],
  "stream": false
}

{
  "role": "user",
  "content": "이 영상에 대해 설명해줘."
}

{
  "role": "user",
  "content": [
    {
      "type": "text",
      "text": "이 영상의 전체 내용을 요약해줘."
    },
    {
      "type": "video_url",
      "video_url": {
        "url": "https://example.com/video.mp4"
      }
    }
  ]
}

{
  "role": "system",
  "content": "You are a professional video analyst. Answer in Korean unless the user writes in another language."
}

{
  "role": "user",
  "content": [
    { "type": "text", "text": "이 영상의 전체 내용을 요약해줘." },
    { "type": "video_url", "video_url": { "url": "https://example.com/video.mp4" } }
  ]
}