1 /*
2 * "streamable kanji code filter and converter"
3 *
4 * Copyright (c) 1998,1999,2000,2001 HappySize, Inc. All rights reserved.
5 *
6 * This software is released under the GNU Lesser General Public License.
7 * (Version 2.1, February 1999)
8 * Please read the following detail of the licence (in japanese).
9 *
10 * ◆使用許諾条件◆
11 *
12 * このソフトウェアは株式会社ハッピーサイズによって開発されました。株式会社ハッ
13 * ピーサイズは、著作権法および万国著作権条約の定めにより、このソフトウェアに関
14 * するすべての権利を留保する権利を持ち、ここに行使します。株式会社ハッピーサイ
15 * ズは以下に明記した条件に従って、このソフトウェアを使用する排他的ではない権利
16 * をお客様に許諾します。何人たりとも、以下の条件に反してこのソフトウェアを使用
17 * することはできません。
18 *
19 * このソフトウェアを「GNU Lesser General Public License (Version 2.1, February
20 * 1999)」に示された条件で使用することを、全ての方に許諾します。「GNU Lesser
21 * General Public License」を満たさない使用には、株式会社ハッピーサイズから書面
22 * による許諾を得る必要があります。
23 *
24 * 「GNU Lesser General Public License」の全文は以下のウェブページから取得でき
25 * ます。「GNU Lesser General Public License」とは、これまでLibrary General
26 * Public Licenseと呼ばれていたものです。
27 * http://www.gnu.org/ --- GNUウェブサイト
28 * http://www.gnu.org/copyleft/lesser.html --- ライセンス文面
29 * このライセンスの内容がわからない方、守れない方には使用を許諾しません。
30 *
31 * しかしながら、当社とGNUプロジェクトとの特定の関係を示唆または主張するもので
32 * はありません。
33 *
34 * ◆保証内容◆
35 *
36 * このソフトウェアは、期待された動作・機能・性能を持つことを目標として設計され
37 * 開発されていますが、これを保証するものではありません。このソフトウェアは「こ
38 * のまま」の状態で提供されており、たとえばこのソフトウェアの有用性ないし特定の
39 * 目的に合致することといった、何らかの保証内容が、明示されたり暗黙に示されてい
40 * る場合であっても、その保証は無効です。このソフトウェアを使用した結果ないし使
41 * 用しなかった結果によって、直接あるいは間接に受けた身体的な傷害、財産上の損害
42 * 、データの損失あるいはその他の全ての損害については、その損害の可能性が使用者
43 * 、当社あるいは第三者によって警告されていた場合であっても、当社はその損害の賠
44 * 償および補填を行いません。この規定は他の全ての、書面上または書面に無い保証・
45 * 契約・規定に優先します。
46 *
47 * ◆著作権者の連絡先および使用条件についての問い合わせ先◆
48 *
49 * 〒102-0073
50 * 東京都千代田区九段北1-13-5日本地所第一ビル4F
51 * 株式会社ハッピーサイズ
52 * Phone: 03-3512-3655, Fax: 03-3512-3656
53 * Email: sales@happysize.co.jp
54 * Web: http://happysize.com/
55 *
56 * ◆著者◆
57 *
58 * 金本 茂 <sgk@happysize.co.jp>
59 *
60 * ◆履歴◆
61 *
62 * 1998/11/10 sgk implementation in C++
63 * 1999/4/25 sgk Cで書きなおし。
64 * 1999/4/26 sgk 入力フィルタを実装。漢字コードを推定しながらフィルタを追加。
65 * 1999/6/?? Unicodeサポート。
66 * 1999/6/22 sgk ライセンスをLGPLに変更。
67 *
68 */
69
70 /*
71 * Unicode support
72 *
73 * Portions copyright (c) 1999,2000,2001 by the PHP3 internationalization team.
74 * All rights reserved.
75 *
76 */
77
78 /*
79 *
80 * streamable kanji code filter and converter
81 * mbfl : Multi Byte FiLter Liblary
82 *
83 */
84
85 #ifndef MBFL_MBFILTER_H
86 #define MBFL_MBFILTER_H
87
88 #include "zend.h"
89
90 #include "mbfl_defs.h"
91 #include "mbfl_consts.h"
92 #include "mbfl_encoding.h"
93 #include "mbfl_language.h"
94 #include "mbfl_string.h"
95 #include "mbfl_convert.h"
96 #include "mbfl_ident.h"
97
98 /* Prefer local fix, otherwise need to include too much. */
99 #ifndef ssize_t
100 #if defined(_WIN64)
101 #define ssize_t __int64
102 #elif defined(_WIN32)
103 #define ssize_t __int32
104 #elif defined(__GNUC__) && __GNUC__ >= 4
105 #define ssize_t long
106 #endif
107 #endif
108
109 /*
110 * version information
111 */
112 #define MBFL_VERSION_MAJOR 1
113 #define MBFL_VERSION_MINOR 3
114 #define MBFL_VERSION_TEENY 2
115
116 /*
117 * convert filter
118 */
119 #define MBFL_OUTPUTFILTER_ILLEGAL_MODE_NONE 0
120 #define MBFL_OUTPUTFILTER_ILLEGAL_MODE_CHAR 1
121 #define MBFL_OUTPUTFILTER_ILLEGAL_MODE_LONG 2
122 #define MBFL_OUTPUTFILTER_ILLEGAL_MODE_ENTITY 3
123
124 /*
125 * convenience macros
126 */
127 #ifndef MIN
128 #define MIN(a,b) ((a)<(b)?(a):(b))
129 #endif
130
131 /*
132 * buffering converter
133 */
134 typedef struct _mbfl_buffer_converter mbfl_buffer_converter;
135
136 struct _mbfl_buffer_converter {
137 mbfl_convert_filter *filter1;
138 mbfl_convert_filter *filter2;
139 mbfl_memory_device device;
140 const mbfl_encoding *to;
141 };
142
143 MBFLAPI extern mbfl_buffer_converter * mbfl_buffer_converter_new(const mbfl_encoding *from, const mbfl_encoding *to, size_t buf_initsz);
144 MBFLAPI extern void mbfl_buffer_converter_delete(mbfl_buffer_converter *convd);
145 MBFLAPI extern int mbfl_buffer_converter_illegal_mode(mbfl_buffer_converter *convd, int mode);
146 MBFLAPI extern int mbfl_buffer_converter_illegal_substchar(mbfl_buffer_converter *convd, int substchar);
147 MBFLAPI extern size_t mbfl_buffer_converter_feed(mbfl_buffer_converter *convd, mbfl_string *string);
148 MBFLAPI extern int mbfl_buffer_converter_flush(mbfl_buffer_converter *convd);
149 MBFLAPI extern mbfl_string * mbfl_buffer_converter_result(mbfl_buffer_converter *convd, mbfl_string *result);
150 MBFLAPI extern mbfl_string * mbfl_buffer_converter_feed_result(mbfl_buffer_converter *convd, mbfl_string *string, mbfl_string *result);
151 MBFLAPI extern size_t mbfl_buffer_illegalchars(mbfl_buffer_converter *convd);
152
153 /*
154 * encoding detector
155 */
156 typedef struct _mbfl_encoding_detector mbfl_encoding_detector;
157
158 struct _mbfl_encoding_detector {
159 mbfl_identify_filter **filter_list;
160 int filter_list_size;
161 int strict;
162 };
163
164 MBFLAPI extern mbfl_encoding_detector * mbfl_encoding_detector_new(const mbfl_encoding **elist, int elistsz, int strict);
165 MBFLAPI extern void mbfl_encoding_detector_delete(mbfl_encoding_detector *identd);
166 MBFLAPI extern int mbfl_encoding_detector_feed(mbfl_encoding_detector *identd, mbfl_string *string);
167 MBFLAPI extern const mbfl_encoding *mbfl_encoding_detector_judge(mbfl_encoding_detector *identd);
168
169
170 /*
171 * encoding converter
172 */
173 MBFLAPI extern mbfl_string *
174 mbfl_convert_encoding(mbfl_string *string, mbfl_string *result, const mbfl_encoding *toenc);
175
176
177 /*
178 * identify encoding
179 */
180 MBFLAPI extern const mbfl_encoding *
181 mbfl_identify_encoding(mbfl_string *string, const mbfl_encoding **elist, int elistsz, int strict);
182
183 /* Lengths -1 through -16 are reserved for error return values */
mbfl_is_error(size_t len)184 static inline int mbfl_is_error(size_t len) {
185 return len >= (size_t) -16;
186 }
187
188 /*
189 * strlen
190 */
191 MBFLAPI extern size_t
192 mbfl_strlen(const mbfl_string *string);
193
194 #define MBFL_ERROR_NOT_FOUND ((size_t) -1)
195 #define MBFL_ERROR_ENCODING ((size_t) -4)
196 #define MBFL_ERROR_EMPTY ((size_t) -8)
197 #define MBFL_ERROR_OFFSET ((size_t) -16)
198
199 /*
200 * strpos.
201 * Errors: MBFL_ERROR_NOT_FOUND, MBFL_ERROR_ENCODING, MBFL_ERROR_OFFSET
202 */
203 MBFLAPI extern size_t
204 mbfl_strpos(mbfl_string *haystack, mbfl_string *needle, ssize_t offset, int reverse);
205
206 /*
207 * substr_count
208 */
209 MBFLAPI extern size_t
210 mbfl_substr_count(mbfl_string *haystack, mbfl_string *needle);
211
212 /*
213 * If specified as length, the substr until the end of the string is taken.
214 */
215 #define MBFL_SUBSTR_UNTIL_END ((size_t) -1)
216
217 /*
218 * substr
219 */
220 MBFLAPI extern mbfl_string *
221 mbfl_substr(mbfl_string *string, mbfl_string *result, size_t from, size_t length);
222
223 /*
224 * strcut
225 */
226 MBFLAPI extern mbfl_string *
227 mbfl_strcut(mbfl_string *string, mbfl_string *result, size_t from, size_t length);
228
229 /*
230 * strwidth
231 */
232 MBFLAPI extern size_t
233 mbfl_strwidth(mbfl_string *string);
234
235 /*
236 * strimwidth
237 */
238 MBFLAPI extern mbfl_string *
239 mbfl_strimwidth(mbfl_string *string, mbfl_string *marker, mbfl_string *result, size_t from, size_t width);
240
241 /*
242 * MIME header encode
243 */
244 struct mime_header_encoder_data; /* forward declaration */
245
246 MBFLAPI extern struct mime_header_encoder_data *
247 mime_header_encoder_new(
248 const mbfl_encoding *incode,
249 const mbfl_encoding *outcode,
250 const mbfl_encoding *encoding);
251
252 MBFLAPI extern void
253 mime_header_encoder_delete(struct mime_header_encoder_data *pe);
254
255 MBFLAPI extern mbfl_string *
256 mime_header_encoder_result(struct mime_header_encoder_data *pe, mbfl_string *result);
257
258 MBFLAPI extern mbfl_string *
259 mbfl_mime_header_encode(
260 mbfl_string *string, mbfl_string *result,
261 const mbfl_encoding *outcode,
262 const mbfl_encoding *encoding,
263 const char *linefeed,
264 int indent);
265
266 /*
267 * MIME header decode
268 */
269 struct mime_header_decoder_data; /* forward declaration */
270
271 MBFLAPI extern struct mime_header_decoder_data *
272 mime_header_decoder_new(const mbfl_encoding *outcode);
273
274 MBFLAPI extern void
275 mime_header_decoder_delete(struct mime_header_decoder_data *pd);
276
277 MBFLAPI extern mbfl_string *
278 mime_header_decoder_result(struct mime_header_decoder_data *pd, mbfl_string *result);
279
280 MBFLAPI extern mbfl_string *
281 mbfl_mime_header_decode(
282 mbfl_string *string,
283 mbfl_string *result,
284 const mbfl_encoding *outcode);
285
286 /*
287 * convert HTML numeric entity
288 */
289 MBFLAPI extern mbfl_string *
290 mbfl_html_numeric_entity(mbfl_string *string, mbfl_string *result, int *convmap, int mapsize, int type);
291
292 /*
293 * convert of harfwidth and fullwidth for japanese
294 */
295 MBFLAPI extern mbfl_string *
296 mbfl_ja_jp_hantozen(mbfl_string *string, mbfl_string *result, int mode);
297
298 #endif /* MBFL_MBFILTER_H */
299
