1 /*
2 * "streamable kanji code filter and converter"
3 *
4 * Copyright (c) 1998,1999,2000,2001 HappySize, Inc. All rights reserved.
5 *
6 * This software is released under the GNU Lesser General Public License.
7 * (Version 2.1, February 1999)
8 * Please read the following detail of the licence (in japanese).
9 *
10 * ◆使用許諾条件◆
11 *
12 * このソフトウェアは株式会社ハッピーサイズによって開発されました。株式会社ハッ
13 * ピーサイズは、著作権法および万国著作権条約の定めにより、このソフトウェアに関
14 * するすべての権利を留保する権利を持ち、ここに行使します。株式会社ハッピーサイ
15 * ズは以下に明記した条件に従って、このソフトウェアを使用する排他的ではない権利
16 * をお客様に許諾します。何人たりとも、以下の条件に反してこのソフトウェアを使用
17 * することはできません。
18 *
19 * このソフトウェアを「GNU Lesser General Public License (Version 2.1, February
20 * 1999)」に示された条件で使用することを、全ての方に許諾します。「GNU Lesser
21 * General Public License」を満たさない使用には、株式会社ハッピーサイズから書面
22 * による許諾を得る必要があります。
23 *
24 * 「GNU Lesser General Public License」の全文は以下のウェブページから取得でき
25 * ます。「GNU Lesser General Public License」とは、これまでLibrary General
26 * Public Licenseと呼ばれていたものです。
27 * http://www.gnu.org/ --- GNUウェブサイト
28 * http://www.gnu.org/copyleft/lesser.html --- ライセンス文面
29 * このライセンスの内容がわからない方、守れない方には使用を許諾しません。
30 *
31 * しかしながら、当社とGNUプロジェクトとの特定の関係を示唆または主張するもので
32 * はありません。
33 *
34 * ◆保証内容◆
35 *
36 * このソフトウェアは、期待された動作・機能・性能を持つことを目標として設計され
37 * 開発されていますが、これを保証するものではありません。このソフトウェアは「こ
38 * のまま」の状態で提供されており、たとえばこのソフトウェアの有用性ないし特定の
39 * 目的に合致することといった、何らかの保証内容が、明示されたり暗黙に示されてい
40 * る場合であっても、その保証は無効です。このソフトウェアを使用した結果ないし使
41 * 用しなかった結果によって、直接あるいは間接に受けた身体的な傷害、財産上の損害
42 * 、データの損失あるいはその他の全ての損害については、その損害の可能性が使用者
43 * 、当社あるいは第三者によって警告されていた場合であっても、当社はその損害の賠
44 * 償および補填を行いません。この規定は他の全ての、書面上または書面に無い保証・
45 * 契約・規定に優先します。
46 *
47 * ◆著作権者の連絡先および使用条件についての問い合わせ先◆
48 *
49 * 〒102-0073
50 * 東京都千代田区九段北1-13-5日本地所第一ビル4F
51 * 株式会社ハッピーサイズ
52 * Phone: 03-3512-3655, Fax: 03-3512-3656
53 * Email: sales@happysize.co.jp
54 * Web: http://happysize.com/
55 *
56 * ◆著者◆
57 *
58 * 金本 茂 <sgk@happysize.co.jp>
59 *
60 * ◆履歴◆
61 *
62 * 1998/11/10 sgk implementation in C++
63 * 1999/4/25 sgk Cで書きなおし。
64 * 1999/4/26 sgk 入力フィルタを実装。漢字コードを推定しながらフィルタを追加。
65 * 1999/6/?? Unicodeサポート。
66 * 1999/6/22 sgk ライセンスをLGPLに変更。
67 *
68 */
69
70 /*
71 * Unicode support
72 *
73 * Portions copyright (c) 1999,2000,2001 by the PHP3 internationalization team.
74 * All rights reserved.
75 *
76 */
77
78 /*
79 *
80 * streamable kanji code filter and converter
81 * mbfl : Multi Byte FiLter Liblary
82 *
83 */
84
85 #ifndef MBFL_MBFILTER_H
86 #define MBFL_MBFILTER_H
87
88 #include "mbfl_defs.h"
89 #include "mbfl_consts.h"
90 #include "mbfl_allocators.h"
91 #include "mbfl_encoding.h"
92 #include "mbfl_language.h"
93 #include "mbfl_string.h"
94 #include "mbfl_convert.h"
95 #include "mbfl_ident.h"
96
97 /* Prefer local fix, otherwise need to include too much. */
98 #ifndef ssize_t
99 #if defined(_WIN64)
100 #define ssize_t __int64
101 #elif defined(_WIN32)
102 #define ssize_t __int32
103 #elif defined(__GNUC__) && __GNUC__ >= 4
104 #define ssize_t long
105 #endif
106 #endif
107
108 /*
109 * version information
110 */
111 #define MBFL_VERSION_MAJOR 1
112 #define MBFL_VERSION_MINOR 3
113 #define MBFL_VERSION_TEENY 2
114
115 /*
116 * convert filter
117 */
118 #define MBFL_OUTPUTFILTER_ILLEGAL_MODE_NONE 0
119 #define MBFL_OUTPUTFILTER_ILLEGAL_MODE_CHAR 1
120 #define MBFL_OUTPUTFILTER_ILLEGAL_MODE_LONG 2
121 #define MBFL_OUTPUTFILTER_ILLEGAL_MODE_ENTITY 3
122
123 /*
124 * convenience macros
125 */
126 #ifndef MIN
127 #define MIN(a,b) ((a)<(b)?(a):(b))
128 #endif
129
130 /*
131 * buffering converter
132 */
133 typedef struct _mbfl_buffer_converter mbfl_buffer_converter;
134
135 struct _mbfl_buffer_converter {
136 mbfl_convert_filter *filter1;
137 mbfl_convert_filter *filter2;
138 mbfl_memory_device device;
139 const mbfl_encoding *from;
140 const mbfl_encoding *to;
141 };
142
143 MBFLAPI extern mbfl_buffer_converter * mbfl_buffer_converter_new(const mbfl_encoding *from, const mbfl_encoding *to, size_t buf_initsz);
144 MBFLAPI extern void mbfl_buffer_converter_delete(mbfl_buffer_converter *convd);
145 MBFLAPI extern void mbfl_buffer_converter_reset(mbfl_buffer_converter *convd);
146 MBFLAPI extern int mbfl_buffer_converter_illegal_mode(mbfl_buffer_converter *convd, int mode);
147 MBFLAPI extern int mbfl_buffer_converter_illegal_substchar(mbfl_buffer_converter *convd, int substchar);
148 MBFLAPI extern int mbfl_buffer_converter_strncat(mbfl_buffer_converter *convd, const unsigned char *p, size_t n);
149 MBFLAPI extern int mbfl_buffer_converter_feed(mbfl_buffer_converter *convd, mbfl_string *string);
150 MBFLAPI extern int mbfl_buffer_converter_feed2(mbfl_buffer_converter *convd, mbfl_string *string, size_t *loc);
151 MBFLAPI extern int mbfl_buffer_converter_flush(mbfl_buffer_converter *convd);
152 MBFLAPI extern mbfl_string * mbfl_buffer_converter_getbuffer(mbfl_buffer_converter *convd, mbfl_string *result);
153 MBFLAPI extern mbfl_string * mbfl_buffer_converter_result(mbfl_buffer_converter *convd, mbfl_string *result);
154 MBFLAPI extern mbfl_string * mbfl_buffer_converter_feed_result(mbfl_buffer_converter *convd, mbfl_string *string, mbfl_string *result);
155 MBFLAPI extern size_t mbfl_buffer_illegalchars(mbfl_buffer_converter *convd);
156
157 /*
158 * encoding detector
159 */
160 typedef struct _mbfl_encoding_detector mbfl_encoding_detector;
161
162 struct _mbfl_encoding_detector {
163 mbfl_identify_filter **filter_list;
164 int filter_list_size;
165 int strict;
166 };
167
168 MBFLAPI extern mbfl_encoding_detector * mbfl_encoding_detector_new(const mbfl_encoding **elist, int elistsz, int strict);
169 MBFLAPI extern void mbfl_encoding_detector_delete(mbfl_encoding_detector *identd);
170 MBFLAPI extern int mbfl_encoding_detector_feed(mbfl_encoding_detector *identd, mbfl_string *string);
171 MBFLAPI extern const mbfl_encoding *mbfl_encoding_detector_judge(mbfl_encoding_detector *identd);
172
173
174 /*
175 * encoding converter
176 */
177 MBFLAPI extern mbfl_string *
178 mbfl_convert_encoding(mbfl_string *string, mbfl_string *result, const mbfl_encoding *toenc);
179
180
181 /*
182 * identify encoding
183 */
184 MBFLAPI extern const mbfl_encoding *
185 mbfl_identify_encoding(mbfl_string *string, const mbfl_encoding **elist, int elistsz, int strict);
186
187 /* Lengths -1 through -16 are reserved for error return values */
mbfl_is_error(size_t len)188 static inline int mbfl_is_error(size_t len) {
189 return len >= (size_t) -16;
190 }
191
192 /*
193 * strlen
194 */
195 MBFLAPI extern size_t
196 mbfl_strlen(mbfl_string *string);
197
198 /*
199 * oddlen
200 */
201 MBFLAPI extern size_t
202 mbfl_oddlen(mbfl_string *string);
203
204 /*
205 * strpos
206 */
207 MBFLAPI extern size_t
208 mbfl_strpos(mbfl_string *haystack, mbfl_string *needle, ssize_t offset, int reverse);
209
210 /*
211 * substr_count
212 */
213 MBFLAPI extern size_t
214 mbfl_substr_count(mbfl_string *haystack, mbfl_string *needle);
215
216 /*
217 * If specified as length, the substr until the end of the string is taken.
218 */
219 #define MBFL_SUBSTR_UNTIL_END ((size_t) -1)
220
221 /*
222 * substr
223 */
224 MBFLAPI extern mbfl_string *
225 mbfl_substr(mbfl_string *string, mbfl_string *result, size_t from, size_t length);
226
227 /*
228 * strcut
229 */
230 MBFLAPI extern mbfl_string *
231 mbfl_strcut(mbfl_string *string, mbfl_string *result, size_t from, size_t length);
232
233 /*
234 * strwidth
235 */
236 MBFLAPI extern size_t
237 mbfl_strwidth(mbfl_string *string);
238
239 /*
240 * strimwidth
241 */
242 MBFLAPI extern mbfl_string *
243 mbfl_strimwidth(mbfl_string *string, mbfl_string *marker, mbfl_string *result, size_t from, size_t width);
244
245 /*
246 * MIME header encode
247 */
248 struct mime_header_encoder_data; /* forward declaration */
249
250 MBFLAPI extern struct mime_header_encoder_data *
251 mime_header_encoder_new(
252 const mbfl_encoding *incode,
253 const mbfl_encoding *outcode,
254 const mbfl_encoding *encoding);
255
256 MBFLAPI extern void
257 mime_header_encoder_delete(struct mime_header_encoder_data *pe);
258
259 MBFLAPI extern int
260 mime_header_encoder_feed(int c, struct mime_header_encoder_data *pe);
261
262 MBFLAPI extern mbfl_string *
263 mime_header_encoder_result(struct mime_header_encoder_data *pe, mbfl_string *result);
264
265 MBFLAPI extern mbfl_string *
266 mbfl_mime_header_encode(
267 mbfl_string *string, mbfl_string *result,
268 const mbfl_encoding *outcode,
269 const mbfl_encoding *encoding,
270 const char *linefeed,
271 int indent);
272
273 /*
274 * MIME header decode
275 */
276 struct mime_header_decoder_data; /* forward declaration */
277
278 MBFLAPI extern struct mime_header_decoder_data *
279 mime_header_decoder_new(const mbfl_encoding *outcode);
280
281 MBFLAPI extern void
282 mime_header_decoder_delete(struct mime_header_decoder_data *pd);
283
284 MBFLAPI extern int
285 mime_header_decoder_feed(int c, struct mime_header_decoder_data *pd);
286
287 MBFLAPI extern mbfl_string *
288 mime_header_decoder_result(struct mime_header_decoder_data *pd, mbfl_string *result);
289
290 MBFLAPI extern mbfl_string *
291 mbfl_mime_header_decode(
292 mbfl_string *string,
293 mbfl_string *result,
294 const mbfl_encoding *outcode);
295
296 /*
297 * convert HTML numeric entity
298 */
299 MBFLAPI extern mbfl_string *
300 mbfl_html_numeric_entity(mbfl_string *string, mbfl_string *result, int *convmap, int mapsize, int type);
301
302 /*
303 * convert of harfwidth and fullwidth for japanese
304 */
305 MBFLAPI extern mbfl_string *
306 mbfl_ja_jp_hantozen(mbfl_string *string, mbfl_string *result, int mode);
307
308 #endif /* MBFL_MBFILTER_H */
309
