Subversion Repositories bacoAlunos

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;

import java.net.URL;

import java.util.GregorianCalendar;

    public JSONObject selectObjectsFromURL(ActionForm form,HttpServletRequest request, HttpServletResponse response) throws 1.5.0/docs/api/java/lang/Throwable.html">Throwable

    {

        1.5.0/docs/api/java/lang/String.html">String paragraphSelector = request.getParameter("paragraphSelector");

        1.5.0/docs/api/java/lang/String.html">String url = request.getParameter("urlSource");

        1.5.0/docs/api/java/net/URL.html">URL u = new 1.5.0/docs/api/java/net/URL.html">URL(url);

        1.5.0/docs/api/java/lang/String.html">String domainRoot = u.getProtocol() + "://" + u.getHost();

        //if(domainRoot.endsWith("/"))

        //    domainRoot = domainRoot.substring(0,domainRoot.length()-1);

        JSONArray sections = new JSONArray();

        JSONArray nowSectionDocuments = new JSONArray();

        JSONObject section = new JSONObject();

        section.put("section","PRIMEIRA_IGNORAR");

        section.put("documents",nowSectionDocuments);

        sections.put(section);

        int count = 0;

        5+0%2Fdocs%2Fapi+Document">Document doc = Jsoup.connect(url).get();

        Elements newsHeadlines = doc.select(paragraphSelector);

        1.5.0/docs/api/java/lang/String.html">String dateYearSection = null;

        for(5+0%2Fdocs%2Fapi+Element">Element e: newsHeadlines)

        {

            1.5.0/docs/api/java/lang/String.html">String allText = e.text().replaceAll("\\n", " ").replaceAll("[ \\t\\xA0\\u1680\\u180e\\u2000-\\u200a\\u202f\\u205f\\u3000]"," ").trim();

            if(allText.length() > 0)

            {

                1.5.0/docs/api/java/lang/System.html">System.out.println("-----------------------------------");

                count++;

                1.5.0/docs/api/java/lang/String.html">String[] nodes = e.html().replaceAll("(?i)<br[^>]*>", "br2n").split("br2n");

                1.5.0/docs/api/java/lang/String.html">String docTitle = "";

                1.5.0/docs/api/java/lang/String.html">String dateYear = "";

                if(dateYearSection != null)

                {

                    dateYear = dateYearSection;

                }

                else

                {

                    for(int i = new 1.5.0/docs/api/java/util/GregorianCalendar.html">GregorianCalendar().get(1.5.0/docs/api/java/util/GregorianCalendar.html">GregorianCalendar.YEAR); i > 2000;i--)

                    {

                        if(allText.indexOf("" + i)>=0)

                        {

                            dateYear = i + "";

                            break;

                        }

                    }

                }

                JSONArray files = new JSONArray();

                for(1.5.0/docs/api/java/lang/String.html">String node : nodes)

                {

                    5+0%2Fdocs%2Fapi+Document">Document lineText = Jsoup.parse(node);

                    Elements as = lineText.select("a");

                    if(as.size()==0)

                    {

                        docTitle+= " " + lineText.text().replaceAll("\\n", " ").replaceAll("[ \\t\\xA0\\u1680\\u180e\\u2000-\\u200a\\u202f\\u205f\\u3000]"," ").trim();

                    }

                    else if(as.size() == 1)

                    {

                        JSONObject file = new JSONObject();

                        //lineText includes URL text + Line without URL Text

                        1.5.0/docs/api/java/lang/String.html">String fileText = lineText.text().replaceAll("[ \\t\\xA0\\u1680\\u180e\\u2000-\\u200a\\u202f\\u205f\\u3000]"," ").trim();

                        1.5.0/docs/api/java/lang/String.html">String href = as.get(0).attr("href");

                        if(href.startsWith("/"))

                        {

                            href = domainRoot + href;

                        }

                        file.put("href", href);

                        file.put("text",fileText);

                        files.put(file);

                        1.5.0/docs/api/java/lang/System.html">System.out.println("FILE: " + fileText + " :: URL :: " + as.get(0).attr("href"));

                    }

                    else if(as.size() >= 1)

                    {

                        //when we have several URL's n same line we put in each URL only the text inside <a>

                        for(5+0%2Fdocs%2Fapi+Element">Element a : as)

                        {

                            JSONObject file = new JSONObject();

                            1.5.0/docs/api/java/lang/String.html">String fileText = a.text().replaceAll("[ \\t\\xA0\\u1680\\u180e\\u2000-\\u200a\\u202f\\u205f\\u3000]"," ").trim();

                            1.5.0/docs/api/java/lang/String.html">String href = as.get(0).attr("href");

                            if(href.startsWith("/"))

                            {

                                href = domainRoot + href;

                            }

                            file.put("href",href);

                            file.put("text",fileText);

                            files.put(file);

                            1.5.0/docs/api/java/lang/System.html">System.out.println("?????????FILE: " + fileText + " :: URL :: " + as.get(0).attr("href"));

                        }

                    }

                }

                if(files.length() == 0)

                {

                    1.5.0/docs/api/java/lang/System.html">System.out.println("SECTION CANDIDATE: " + docTitle);

                    nowSectionDocuments = new JSONArray();

                    section = new JSONObject();

                    section.put("section",docTitle);

                    section.put("documents",nowSectionDocuments);

                    sections.put(section);

                    dateYearSection = null;

                    for(int i = new 1.5.0/docs/api/java/util/GregorianCalendar.html">GregorianCalendar().get(1.5.0/docs/api/java/util/GregorianCalendar.html">GregorianCalendar.YEAR); i > 2000;i--)

                    {

                        if(docTitle.indexOf("" + i)>=0)

                        {

                            dateYearSection = i + "";

                            break;

                        }

                    }

                }

                else

                {

                    JSONObject j = new JSONObject();

                    docTitle = docTitle.trim();

                    if(docTitle.startsWith("-"))

                    {

                        docTitle = docTitle.substring(1);

                    }

                    if(docTitle.endsWith("-"))

                    {

                        docTitle = docTitle.substring(0, docTitle.length()-1);

                    }

                    docTitle = docTitle.trim();

                    j.put("text",docTitle);

                    if(files.length() > 0)

                        j.put("files",files);

                    if(dateYear.length()>0)

                        j.put("year", dateYear);

                    1.5.0/docs/api/java/lang/System.html">System.out.println(docTitle);

                    nowSectionDocuments.put(j);

                }

            }

        }

        1.5.0/docs/api/java/lang/System.html">System.out.println(sections.toString());

        1.5.0/docs/api/java/lang/System.html">System.out.println(count);

        JSONObject sectionsObj = new JSONObject();

        sectionsObj.put("sections",sections);

        return sectionsObj;

    }