Miyamiyaの『<font color="blue">★ＭＭエディタ</font>』掲示板１ 2003年04/11

Miyamiyaの『★ＭＭエディタ』掲示板１ 2003年04/11　　　　

＞RE:2つのファイルの重複データを保存するマクロ　投稿者：Miyamiya

2003年4月11日（金）17時52分

satoruさんへ。
以下は、2つのファイルの重複データを保存するマクロです。
うまく処理できなかったデータの件も直しています。
実行前に「このデータが削除されますよ」というデータ一覧表示を出すのは無理です。
削除されたデータをバックアップとして保存を残すことは可能です。
ファイル名の最後に ".log"を付加して残すことにします。
結果を保存するファイルが abc.txt なら abc.txt.log になります。


------------------------------------------------------------------
#include <comdlg.h>
main()
{
    int ans, fstat, cm;
    char sfile[300], tfile[300], wfile[300], gfile[300];
    char s[500], sbuf[10000], tbuf[10000];
    FILE *sfp, *tfp, *wfp, *gfp;
    
    strcpy(sfile, "");
    strcpy(tfile, "");
    if(OpenFileName(sfile, "*.txt") == -1 || strlen(sfile) < 1)
      return;
    if(OpenFileName(tfile, "*.txt") == -1 || strlen(sfile) < 1)
      return;
    getrfilename(wfile);
    if(strlen(wfile) < 1)
      return;
    
    if((sfp = fopen(sfile, "rb")) == NULL)
    { // 存在しないファイル
      strcpy(s, sfile);
      strcat(s, "\nこのファイルは存在しません。終了します。");
      Message(s);
      return;
    }
    fclose(sfp);
    if((tfp = fopen(tfile, "rb")) == NULL)
    { // 存在しないファイル
      strcpy(s, tfile);
      strcat(s, "\nこのファイルは存在しません。終了します。");
      Message(s);
      return;
    }
    if((wfp = fopen(wfile, "wb")) == NULL) // 書き込むファイルを開く
    {
      fclose(tfp);
      return;
    }
    strcpy(gfile, wfile);
    strcat(gfile, ".log");
    if((gfp = fopen(gfile, "wb")) == NULL) // 書き込むファイルを開く
    {
      fclose(tfp);
      fclose(wfp);
      return;
    }
    fstat = GetFind();
    SetFind(0x0);
    cm = Margin();
    SetMargin(3200);
    Open(sfile); // ファイルを開く
    DispOff2();
    while(fgets(tbuf, 10000, tfp) != NULL)
    {
      Top();
      Getline(sbuf);
      strcat(sbuf, "\r\n");
      if(strcmp(tbuf, sbuf) == 0) // 先頭行をチェック
        fputs(tbuf, gfp);
      else
      {
        SetFindS(tbuf);
        while((ans = Find()) == 0 && Col() != 1)
          ;
        if(ans != 0)
          fputs(tbuf, wfp);
        else
          fputs(tbuf, gfp);
      }
    }
    SetMargin(cm);
    DispOn();
    fclose(tfp);
    fclose(wfp);
    fclose(gfp);
    Close();
    SetFind(fstat);
    Open(wfile); // 結果のファイルを開く
}
 
// 連結先のファイル名を得る
void getrfilename(char* fname)
{
    static char mfile[520], f[300], sdir[300];
    static char *fltstr[] = {"TXTファイル (*.txt)", "*.txt", "すべてのファイル (*.*)", "*.*", ""};
    static OPENFILENAME ofn;
    int i, len;
    FILE *fp;
    
    strcpy(mfile, "*.txt");
    // OPENFILENAME構造体を初期化
    for(len = i = 0; fltstr[i][0] != '\0'; i++)
    {
        strcpy(&f[len], fltstr[i]);
        len += strlen(fltstr[i]) + 1;
    }
    f[len] = '\0';
    ofn.lStructSize = sizeof(OPENFILENAME);
    ofn.hwndOwner = Handle();
    ofn.hInstance = GetInstance();
    ofn.lpstrFilter = f;
    ofn.nFilterIndex = 0;
    ofn.lpstrFile = mfile;
    ofn.nMaxFile = sizeof(mfile);
    GetCurDirectory(sdir);
    ofn.lpstrInitialDir = sdir;
    ofn.lpstrTitle = "保存するファイル名を指定して下さい";
    ofn.Flags = OFN_HIDEREADONLY | OFN_OVERWRITEPROMPT | OFN_PATHMUSTEXIST;
    ofn.lpstrDefExt = "txt";
    // ダイアログでファイルを選択
    if(GetSaveFileName(&ofn))
      strcpy(fname, mfile);
    else
      strcpy(fname, "");
}
------------------------------------------------------------------

＞重複ファイルについて　投稿者：satoru

2003年4月10日（木）14時21分

宮崎様、お世話様でございます。

①2つのファイルの重複データ　②重複行削除マクロ
どちらも、滞りなく動作いたしましたことをお伝えいたします。
ただ、①のほうなのですが、たまたまどちらのファイルにもあった1つの重複データが何故か削除されずに、最先頭行に存在しているのが分かりました。何度試行しても先頭に残っているのです。
その2つのデータを宮崎様のメール宛てにお送りしますので、ご確認していただけますでしょうか。

それと、この２つのマクロですが、「このデータが削除されますよ」というデータ一覧表示と、削除されたデータをバックアップとして保存（ログというのでしょうか？）を残すことは可能でしょうか？

何度もわがままばかり述べてしまいまして、大変申し訳ありません。
何卒、宜しくお願いいたします。

＞RE:重複行削除マクロ　投稿者：Miyamiya

2003年4月9日（水）16時21分

satoruさんへ。
以下のマクロは、１つのファイル内においての「重複行削除マクロ」です。
５０万行まで、処理できます。
起動すると、ファイルを選択するダイアログが出ますので、処理するファイル名を
指定してください。そのファイル内の重複行を削除します。
その処理するファイルを開いている場合は、閉じてから実行してください。
うまく実行できれば、最後に、そのファイルを開きます。


------------------------------------------------------------------
#define MAXLINE  500000 // 処理できるMAX行
main()
{
    char **pl; // 各行のデータエリア
    char s[500], sfile[300], sbuf[10000];
    FILE *sfp;
    int i, j, cnt;
    
    strcpy(sfile, "");
    if(OpenFileName(sfile, "*.txt") == -1 || strlen(sfile) < 1)
      return;
    if((pl = (char**)malloc(MAXLINE * sizeof(char*))) == NULL)
      return;
    if((sfp = fopen(sfile, "rb")) == NULL)
    { // 存在しないファイル
      strcpy(s, sfile);
      strcat(s, "\nこのファイルは存在しません。終了します。");
      Message(s);
      return;
    }
    for(cnt = 0; fgets(sbuf, 10000, sfp) != NULL; cnt++)
    {
      if(cnt > MAXLINE || (pl[cnt] = (char*)malloc(strlen(sbuf) + 1)) == NULL)
      { // メモリが確保できないなら
        for(i = cnt - 1; i >= 0; i--)
          free(pl[i]);
        free(pl);
        fclose(sfp);
        return;
      }
      strcpy(pl[cnt], sbuf);
    }
    fclose(sfp);
    
    if((sfp = fopen(sfile, "wb")) == NULL) // 書き込むファイルを開く
      return;
    for(i = 0; i < cnt; i++)
    {
      if(pl[i][0] == '\0')
        continue;
      for(j = 0; j < cnt; j++)
      {
        if(i != j && strcmp(pl[i], pl[j]) == 0)
          pl[j][0] = '\0';
      }
    }
    for(i = 0; i < cnt; i++)
    {
      if(pl[i][0] != '\0')
        fputs(pl[i], sfp);
    }
    for(i = cnt - 1; i >= 0; i--) // 作業エリアのメモリ解放
      free(pl[i]);
    free(pl);
    fclose(sfp);
    Open(sfile); // 結果のファイルを開く
}
------------------------------------------------------------------

＞RE:2つのファイルの重複データについて　投稿者：Miyamiya

2003年4月9日（水）16時14分

satoruさんへ。
大きなファイルを処理するなら、アプローチを変える必要があります。
以下のマクロを使ってみて下さい。


------------------------------------------------------------------
#include <comdlg.h>
main()
{
    char s[500];
    int fstat;
    char sfile[300], tfile[300], wfile[300], sbuf[10000], tbuf[10000], fbuf[10000];
    FILE *sfp, *tfp, *wfp;
    
    strcpy(sfile, "");
    strcpy(tfile, "");
    if(OpenFileName(sfile, "*.txt") == -1 || strlen(sfile) < 1)
      return;
    if(OpenFileName(tfile, "*.txt") == -1 || strlen(sfile) < 1)
      return;
    getrfilename(wfile);
    if(strlen(wfile) < 1)
      return;
    
    if((sfp = fopen(sfile, "rb")) == NULL)
    { // 存在しないファイル
      strcpy(s, sfile);
      strcat(s, "\nこのファイルは存在しません。終了します。");
      Message(s);
      return;
    }
    fclose(sfp);
    if((tfp = fopen(tfile, "rb")) == NULL)
    { // 存在しないファイル
      strcpy(s, tfile);
      strcat(s, "\nこのファイルは存在しません。終了します。");
      Message(s);
      return;
    }
    if((wfp = fopen(wfile, "wb")) == NULL) // 書き込むファイルを開く
    {
      fclose(tfp);
      return;
    }
    int fstat = GetFind();
    SetFind(0x8); // 正規表現検索
    Open(sfile); // ファイルを開く
    DispOff2();
    while(fgets(tbuf, 10000, tfp) != NULL)
    {
      Top();
      Getline(sbuf);
      strcat(sbuf, "\r\n");
      if(strcmp(tbuf, sbuf) == 0) // まず、先頭行をチェック
        continue;
      strcpy(fbuf, "^");
      strcat(fbuf, tbuf);
      SetFindS(fbuf);
      if(Find() != 0)
        fputs(tbuf, wfp);
    }
    DispOn();
    fclose(tfp);
    fclose(wfp);
    Close();
    SetFind(fstat);
    Open(wfile); // 結果のファイルを開く
}
 
// 連結先のファイル名を得る
void getrfilename(char* fname)
{
    static char mfile[520], f[300], sdir[300];
    static char *fltstr[] = {"TXTファイル (*.txt)", "*.txt", "すべてのファイル (*.*)", "*.*", ""};
    static OPENFILENAME ofn;
    int i, len;
    FILE *fp;
    
    strcpy(mfile, "*.txt");
    // OPENFILENAME構造体を初期化
    for(len = i = 0; fltstr[i][0] != '\0'; i++)
    {
        strcpy(&f[len], fltstr[i]);
        len += strlen(fltstr[i]) + 1;
    }
    f[len] = '\0';
    ofn.lStructSize = sizeof(OPENFILENAME);
    ofn.hwndOwner = Handle();
    ofn.hInstance = GetInstance();
    ofn.lpstrFilter = f;
    ofn.nFilterIndex = 0;
    ofn.lpstrFile = mfile;
    ofn.nMaxFile = sizeof(mfile);
    GetCurDirectory(sdir);
    ofn.lpstrInitialDir = sdir;
    ofn.lpstrTitle = "保存するファイル名を指定して下さい";
    ofn.Flags = OFN_HIDEREADONLY | OFN_OVERWRITEPROMPT | OFN_PATHMUSTEXIST;
    ofn.lpstrDefExt = "txt";
    // ダイアログでファイルを選択
    if(GetSaveFileName(&ofn))
      strcpy(fname, mfile);
    else
      strcpy(fname, "");
}
------------------------------------------------------------------

＞2つのファイルの重複データについて　　投稿者：satoru

2003年4月8日（火）22時01分

宮崎様　お世話様でございます。

御指示の通り、差し替えてみたところ、見事ちゃんと動作いたしました。
ただ、１, ０００行ほどまでは滞りなく動作するのですが、２, ０００行ほどで動作が鈍くなり、３, ０００行ほどになると、ＭＭ本体が反応しなくなる現象が起きてきてしまいました。
一応、ＰＣには５１２Ｍのメモリを入れているのですが、行数が多くなると難しい処理になってくるものなのでしょうか？　素人の意見、希望で真に申し訳なく思っております。
現場では、１０万行くらいの処理まで、もしも滞りなく動作してくれると助かるのですが…。１行そのものは、１０文字程度なのです。

それと、上記のマクロに関連することなのですが、１つのファイル内においての「重複行削除マクロ」というものも、もし可能であると、非常に印刷業界においてのテキストデータ管理作業に役立つもので、ぜひこの場を借りまして、お伺いさせていただきます。（こちらも、１０万行ほどの作業能力があると非常に嬉しいのですが）

それでは何卒、宜しくお願いいたします。

＞RE:2つのファイルの重複データについて　投稿者：Miyamiya

2003年4月7日（月）15時25分

satoruさんへ。
１行目の
------------------------------------------------------------------
#include
------------------------------------------------------------------
を
------------------------------------------------------------------
#include <comdlg.h>
------------------------------------------------------------------
に差し替えてください。
そして、マクロキットの中に入っている comdlg.h ファイルを
マクロフォルダまたは、ＭＭエディタのあるフォルダへ置いて下さい。
それで動くはずです。

＞2つのファイルの重複データについて　　投稿者：satoru

2003年4月7日（月）01時45分

宮崎様、お世話様でございます。
お忙しいなか、希望したマクロをありがとうございます。
早速、動作確認をしてみましたところ、

「マクロ構文エラーが２行目で発生しました。」

というダイアログが出てしまいまして、残念ながら動作しませんでした。
下記に記されたマクロ構文を、慎重に何度かコピーして試したのですが、動きませんでした。
ちなみに、ＯＳはＷｉｎＸＰＨｏｍｅのデスクトップと、ＸＰＰｒｏのノートの両方で試してみました。

何卒、ご教示願いますよう、宜しくお願いいたします。

＞RE:2つのファイルの重複データについて　投稿者：Miyamiya

2003年4月5日（土）16時34分

satoruさんへ。
以下のマクロを使ってみて下さい。
まず、ファイルを選択するダイアログが出ますので、「元データ（1）」の
ファイル名を指定してください。
続いて、ファイルを選択するダイアログが出ますので、「調査データ（2）」の
ファイル名を指定してください。
その後に、結果を保存するファイルを選択するダイアログが出ますので、
保存するファイル名を指定してください。
うまく実行できれば、最後に、結果を保存したファイルを開きます。


------------------------------------------------------------------
#include 
main()
{
    char s[500];
    int match;
    char sfile[300], tfile[300], wfile[300], sbuf[10000], tbuf[10000];
    FILE *sfp, *tfp, *wfp;

    strcpy(sfile, "");
    strcpy(tfile, "");
    if(OpenFileName(sfile, "*.txt") == -1 || strlen(sfile) < 1)
      return;
    if(OpenFileName(tfile, "*.txt") == -1 || strlen(sfile) < 1)
      return;
    getrfilename(wfile);
    if(strlen(wfile) < 1)
      return;
    
    if((sfp = fopen(sfile, "rb")) == NULL)
    { // 存在しないファイル
      strcpy(s, sfile);
      strcat(s, "\nこのファイルは存在しません。終了します。");
      Message(s);
      return;
    }
    if((tfp = fopen(tfile, "rb")) == NULL)
    { // 存在しないファイル
      strcpy(s, tfile);
      strcat(s, "\nこのファイルは存在しません。終了します。");
      Message(s);
      fclose(sfp);
      return;
    }
    if((wfp = fopen(wfile, "wb")) == NULL) // 書き込むファイルを開く
    {
      fclose(sfp);
      fclose(tfp);
      return;
    }
    while(fgets(tbuf, 10000, tfp) != NULL)
    {
      if(strcmp(tbuf, "\r\n") == 0) // 空行
        continue;
      match = 0;
      fseek(sfp, 0, 0); // ファイルポインタを先頭へ
      while(fgets(sbuf, 10000, sfp) != NULL)
      {
        if(strcmp(tbuf, sbuf) == 0)
        {
          match = 1;
          break;
        }
      }
      if(match == 0)
        fputs(tbuf, wfp);
    }
    fclose(wfp);
    Open(wfile); // 結果のファイルを開く
}
 
// 連結先のファイル名を得る
void getrfilename(char* fname)
{
    static char mfile[520], f[300], sdir[300];
    static char *fltstr[] = {"TXTファイル (*.txt)", "*.txt", "すべてのファイル (*.*)", "*.*", ""};
    static OPENFILENAME ofn;
    int i, len;
    FILE *fp;
    
    strcpy(mfile, "*.txt");
    // OPENFILENAME構造体を初期化
    for(len = i = 0; fltstr[i][0] != '\0'; i++)
    {
        strcpy(&f[len], fltstr[i]);
        len += strlen(fltstr[i]) + 1;
    }
    f[len] = '\0';
    ofn.lStructSize = sizeof(OPENFILENAME);
    ofn.hwndOwner = Handle();
    ofn.hInstance = GetInstance();
    ofn.lpstrFilter = f;
    ofn.nFilterIndex = 0;
    ofn.lpstrFile = mfile;
    ofn.nMaxFile = sizeof(mfile);
    GetCurDirectory(sdir);
    ofn.lpstrInitialDir = sdir;
    ofn.lpstrTitle = "保存するファイル名を指定して下さい";
    ofn.Flags = OFN_HIDEREADONLY | OFN_OVERWRITEPROMPT | OFN_PATHMUSTEXIST;
    ofn.lpstrDefExt = "txt";
    // ダイアログでファイルを選択
    if(GetSaveFileName(&ofn))
      strcpy(fname, mfile);
    else
      strcpy(fname, "");
}
------------------------------------------------------------------

＞2つのファイルの重複データについて　投稿者：satoru

2003年4月4日（金）14時45分

お世話様でございます。
いつもＭＭエディタを重宝させていただいております。
ひとつ質問なのですが、2つのテキストファイル「元データ（1）」と「調査データ（2）」を比較させ、重複しているデータがあった場合、（2）から重複しているデータのみを省いて保存できるような機能というのは、果たして可能なのでしょうか？
例として

あ
い
う
え
お

という元データがあったとして

あ
か
い
た
う

という調査ファイルがあったとしたら

か
た

というデータだけ残るというものなのですが……。
お忙しいところ、ご教示くださいますよう、よろしくお願いいたします。