차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

--- project:embeddedpythonusingcapi [2014/03/03 14:45] – [예제: URL의 콘텐츠 가져오기] changwoo
+++ project:embeddedpythonusingcapi [2014/10/09 21:24] (현재) – 바깥 편집 127.0.0.1
@@ 줄 396: / 줄 396: @@
 ===== 함수 호출 =====
 ==== 모듈 함수 ====
-모듈의 함수는 어떤 모듈에서 바로 호출가능하므로 ''PyObject_CallMethod()''를 이용할 수 있습니다.
+모듈의 함수는 어떤 모듈에서 바로 호출가능하므로 ''[[http://docs.python.org/2/c-api/object.html#PyObject_CallObject|PyObject_CallMethod()]]''를 이용할 수 있습니다.
 <code c>
 /* import scripts.mydef */
@@ 줄 409: / 줄 409: @@
 }
 </code>
-또는 함수의 객체를 끝까지 레퍼런스하여 부를 수도 있습니다.
+또는 함수의 객체를 끝까지 레퍼런스한 다음 ''[[http://docs.python.org/2/c-api/object.html#PyObject_CallMethod|CallFunction()]]'' 함수를 부를 수도 있습니다.
 <code c>
 /* Multiply = my_def.Multiply */
@@ 줄 426: / 줄 426: @@
 ==== 클래스 함수 ====
-모듈의 내 함수나 클래스의 함수나 같은 관점에서 바라볼 수 있습니다. 그러므로 ''PyObject_CallMethod()'' 함수를 이용하면 클래스의 함수를 호출하면 됩니다.
+모듈의 내 함수나 클래스의 함수나 같은 관점에서 바라볼 수 있습니다. ''PyObject_CallMethod()'' 함수를 이용하여 클래스의 함수를 호출하면 됩니다.
 <code c>
@@ 줄 451: / 줄 451: @@
 }
 </code>
+그런데 이렇게 모듈을 끄집어 내고, 클래스를 끄집어 내고, 함수를 끄집어내고... 끄집어내고 끄집어내다 보면 if 문의 홍수가 나죠. 레퍼런스 관리는 철저하게 해야 하는데, 그렇다고 에러 체크를 안 할 수도 없고... 결국 goto 명령을 쓰게 되더라구요.
 ===== 리턴 값 추출 =====
 함수 호출을 통해 PyObject 객체의 레퍼런스를 받았다면, 이 객체의 값을 C의 자료구조로 해석해 내야 합니다.
@@ 줄 457: / 줄 460: @@
 기본 자료형들은 매우 간결하게 ''Py<X>_As<Y>()'' 함수 타입을 이용하면 됩니다. 'X'에는 파이썬 객체의 타입, Y는 C 타입의 자료형을 입력하면 됩니다.
+==== 튜플/리스트 등의 자료형 ====
+이외의 자료형들은 레퍼런스를 참고하라는 마법의 단어로 생략하도록 하겠습니다. 여기까지 읽고 이해했다면 아마 레퍼런스를 보고 어떻게 값을 가져올지 감이 잡히셨으리라 생각합니다. 레퍼런스의 '[[http://docs.python.org/2/c-api/abstract.html|Abstract Objects Layer]]'와 '[[http://docs.python.org/2/c-api/concrete.html|Concrete Objects Layer]]' 부분을 읽어 보면 각각의 자료형에서 데이터를 어떻게 꺼내올지, 또 반대로 어떻게 집어넣을지에 대해 자세하게 설명되어 있습니다.
+파이썬 확장에 대해서는 그나마 몇몇 문서들을 만나긴 했지만, 파이썬 삽입에 대해서는 그다지 문서가 많지 않더군요. 처음에는 갈팡질팡했습니다. 그렇지만 문서를 작성하는 과정을 통해 C API를 레퍼런스를 보다 정독해보고 나니 그렇게까지 어려운 일은 아니라는 결론을 내렸습니다. 결국 파이썬 객체를 다루는 것이니, 파이썬이 동작하는 방식을 유추해보면 거의 흐름이 그려지게 되더군요.
 ===== 예제: URL의 콘텐츠 가져오기 =====
@@ 줄 463: / 줄 470: @@
 아래 예제는 인자로 받은 URL로부터 약간의 HTML을 분석하는 코드입니다. 모든 ''a'' 태그 중 ''href'' 속성에서 'http(s)'로 시작하는 외부 링크를 받아 출력합니다. 또한 ''img'' 태그에서 jpg, gif, png 그림 파일은 'img'라는 디렉토리를 만들어 그 곳에 저장하도록 합니다.
-제가 C 프로그램에 아주아주 정통한 건 아닌지라 확실하게 단언할 수는 없지만, 일반적으로 별도의 라이브러리 없이 프로그래머가 소켓을 통해 생짜로 C에서 이렇게 HTTP 서버에 접속해서 HTML을 받아오고, 정규 표현식을 쓰거나 문자열 처리를 하기가 그다지 쉽지 않은 편입니다. 사실 작업 자체가 어렵지 않으니 C로 조금만 신경쓰면 곧 짤 수 있을 수도 있긴 하고, 애초에 이런 파이썬-C의 바인딩 따위는 하지 않아도 되지만... 조금 더 복잡한 형태로 코드를 짜 보면 어떨까 생각해 본 것 뿐입니다.
+제가 C 프로그램에 아주아주 정통한 건 아닌지라 확실하게 단언할 수는 없지만, 일반적으로 별도의 라이브러리 없이 프로그래머가 소켓을 통해 생짜로 C에서 이렇게 HTTP 서버에 접속해서 HTML을 받아오고, 정규 표현식을 쓰거나 문자열 처리를 하기가 그다지 쉽지 않은 편입니다. 사실 작업 자체가 어렵지 않으니 C로 조금만 신경쓰면 곧 짤 수 있을 수도 있긴 하고, 애초에 이런 파이썬-C의 바인딩 따위는 하지 않아도 되지만...
 C와 파이썬 사이에는 다음과 같은 입출력을 주고받기로 맞추었습니다.
@@ 줄 470: / 줄 477: @@
   * 이미지 저장은 모두 파이썬 측에서 처리합니다.
-==== 정규표현식 테스트 ====
+==== finder 파이썬 모듈 ====
+<code python finder.py>
+# -*- coding: utf-8 -*-
+import urllib
+import urlparse
+import os
+import re
+import sys
+class url_finder:
+    def __init__(self, url):
+        html = self.get_html(sys.argv[1])
+        # url trimming
+        url_parsed = urlparse.urlparse(url)
+        self.url = '%s://%s' % (url_parsed[0], url_parsed[1])
+        # exclude file name
+        spl = url_parsed[2].split('/')
+        if len(spl) > 1:
+            self.url += '/'.join(spl[0:-1])
+        # links, and images
+        self.links = self.get_all_external_links(html)
+        self.save_all_images(html)
+    def get_all_external_links(self, html):
+        found = re.findall(r'<a.*href=\"(https?.+?)\"', html)
+        return found
+    def save_all_images(self, html):
+        if os.path.exists('./img') == False:
+            os.mkdir('./img')
+        for s in self.get_all_image_links(html):
+            url = self.trim_image_url(s)
+            filename = './img/' + s.split('/')[-1].strip()
+            content = self.get_html(url)
+            with open(filename, 'wb') as f:
+                print "Saving [%s] to [%s]..." % (url, filename)
+                f.write(content)
+    def get_all_image_links(self, html):
+        found = re.findall(r'<img.*src=\"(.+\.(gif|png|jpg))\"', html)
+        return set(x[0] for x in found)
+    def trim_image_url(self, src_url):
+        if src_url[:4] == 'http':
+            return src_url
+        elif src_url[0] == '/':
+            return "%s%s" % (self.url, src_url)
+        else:
+            return "%s/%s" % (self.url, src_url)
+    def get_html(self, url):
+        u = urllib.urlopen(url)
+        html = u.read()
+        u.close()
+        return html
+if __name__ == "__main__" :
+    finder = url_finder("http://www.google.com")
+    for x in finder.links:
+        print x
+</code>
+==== finder C 코드 ====
+에러 처리가 불완전하지만 보여주는 것에 초점을 맞춰  간결하게 작성했습니다.
+<code c finder.c>
+#include <Python.h>
+int main(int argc, char** argv)
+{
+  Py_SetProgramName(argv[0]);
+  Py_Initialize();
+  if (Py_IsInitialized()) {
+    /* module, class, instance */
+    PyObject *mod = NULL, *cls = NULL, *ins = NULL;
+    /* argument, return */
+    PyObject *url = NULL, *ret = NULL;
+    PySys_SetArgv(argc, argv);
+    mod = PyImport_ImportModule("scripts.finder");   // module
+    cls = PyObject_GetAttrString(mod, "url_finder"); // class
+    /* argument must be a tuple */
+    url = PyTuple_New(1);
+    PyTuple_SetItem(url, 0, PyString_FromString(argv[1])); // (url)
+    ins = PyObject_CallObject(cls, url);        // instance
+    ret = PyObject_GetAttrString(ins, "links"); // instance.links
+    if (PyList_Check(ret)) {
+      PyObject* iter = PyObject_GetIter(ret);
+      PyObject* item;
+      while(item = PyIter_Next(iter)) {
+        if (PyString_Check(item)) {
+          printf("%s\n", PyString_AsString(item));
+        }
+        Py_XDECREF(item);
+      }
+      Py_XDECREF(iter);
+    }
+    Py_XDECREF(ret);
+    Py_XDECREF(ins);
+    Py_XDECREF(url);
+    Py_XDECREF(cls);
+    Py_XDECREF(mod);
+    Py_Finalize();
+  }
+  return 0;
+}
+</code>
+파이썬 스크립트를 C에서 동작시키는 것에 불과하니, 서로 동작 결과는 동일합니다.
+===== 마치며 =====
+파이썬에는 여러 라이브러리들이 잘 갖춰져 있고, 또 쓰기 매우 쉽게 되어 있습니다. 기존의 어떤 작업을 C/C++, 혹은 다른 언어 기반으로 하고 있다가 전혀 다른 아이디어를 떠올리게 되었습니다. 사용 중인 언어 환경에서는 외부라이브러리를 가져다가 빌드도 하고 세팅도 해야하고 ... 이것저것 밑작업도 많이 해야 하고 본 코드를 작성하는데도 조금 시간이 걸릴 수 있습니다.
+이럴 때 이 새로운 부분만을 파이썬 스크립트로 프로토타이핑을 할 수 있습니다. 그런데 양 프로그램간 데이터 전송, 좀 더 거창하게는 프로세스 통신이 이뤄지면 보다 더 좋겠죠. 이럴 때 파이썬 삽입이 적합한 것 같습니다.
+저도 이 문서를 제작하게 된 계기가 된 것이, 어떤 프로그램을 제작하는데, 네트워킹 기능과 텍스트 처리가 다소 필요한 부분이었습니다. C++로 이것을 시작하려 하니 한숨만 나오더군요. 그래서 우선 파이썬을 통해 빨리빨리 아이디어 스케치를 했습니다. 기능 구현은 빠르게 되었고, 이렇게 구성을 하면 좋겠다는 확신이 들었습니다. 또한 같은 객체 설계를 하더라도 스크립트로는 후딱후딱 만들고 바꾸기도 쉬우니 편리했습니다. 여기서 단순하게 기능이 동작된다는 것도 확인하였지만, 여기서 빠르게 프로토타이핑을 한 것이 설계적인 측면에서도 나름 이득이 되더군요.